人工智能基础-期末复习笔记

目的:用于大三上的《人工智能基础》课程的复习,重点在后半期的“机器学习”部分

Notes:

1.概率计算两个规则
Sum rule
Product rule
2.特征提取:输入数据转化为向量X的过程
3.两个模型
回归模型
分类模型
4.回归树的最优划分 动态规划

Chapter0 绪论

1.AI历史
第一次浪潮:搜索技术、知识表示、确定性推理、感知机
第一次寒冬:感知机模型局限、复杂度NP
第二次浪潮:专家系统、不确定性推理、神经网络BP
第二次寒冬:维护成本高
2.机器学习三要素
优化目标建立:基于数据,计算目标函数最小的模型w
优化求解过程
模型预测过程
3.ML概述

标签学习
分类回归思想建模(最小化回归误差、最小化分类信息熵)
决策树、回归树、GBRT
概率思想建模(最大化数据似然)
逻辑回归、朴素贝叶斯
集成方法
Bagging、Adaboost
结构学习
概率图模型(条件独立假设)
有向图
无监督(隐变量与EM)
PLSA
混合高斯
有监督
朴素贝叶斯
逻辑回归
概率矩阵分解
无向图
条件随机场
神经网络(NN是计算流程的可视化)
前馈NN、RNN(序列标注、机器翻译、对话生成)、CNN
前沿研究
闲聊机器人

Chapter1 单变量学习(标签学习)

一 决策树

1.信息熵
定义 已知随机变量Y的分布P(Y),度量“预测随机变量Y的取值”的难度
香农信息熵
条件信息熵 度量“在随机变量X的前提下,预测随机变量Y”的难度
信息增益 度量X对预测Y的能力
2.构造决策树
准则
分类准确
树结构简单(数节点数少,叶节点的预测值绝对值小)
贪心算法:以最大化IG,即最小化条件熵的目的选择根节点属性
H(Y|Xi)哪一个Xi小
3.连续值决策树
4.决策树剪枝
5.对应ML三要素
目标函数:落入叶节点的样本的信息熵均值最小
优化过程:以条件熵为准则的贪心算法,不可导
模型预测:给定新样本,以落入的叶节点的类别为预测值

二 回归树

1.如何确定叶节点的wj – 目标函数
推导目标函数
从数据的角度->从树的角度
当叶节点为 时目标函数最小
2.如何分裂树的节点 – 优化过程
分裂前
分裂后
要减少量 尽量大
也是贪心策略

三 GBRT

1.GBRT Gradient Boost Regression Tree
渐进梯度回归树
GBDT 渐进梯度决策树
MART Multiple Additive Regression Tree多决策累加回归树
基本假设:多个回归树相加
2.目标函数
设有K棵树
最小化 训练误差+模型复杂度
3.优化过程
贪心:考虑树的添加过程
设前t-1棵树都算出了,预测值为〖y ̂_i〗^((t-1) ),则〖y ̂_i〗^((t) )=〖y ̂_i〗^((t-1) )+f_t (x_i)
相当于构建一棵(xi, yi-〖y ̂_i〗^((t-1) ))的回归树
极值点取法和上一节一样
4.Hw:最佳的k划分
5.模型预测

四 LR 逻辑回归

1.Sigmoid函数
2.目标函数
最大化目标似然
转化为最小化
3.优化过程 梯度下降
最小化,往梯度的反方向走
梯度下降变体:MiniBatch
随机选择部分样例并计算梯度
4.线性回归 vs 逻辑回归
目标函数:
分类平面:
LR对异常点更加robust
共同点:都是线性分类器
5.正则化
目的:目标函数考虑自身权重带来的影响,避免权重太多太大,过拟合
6.特征工程师
套路:决策树+随机森林+GBDT+线性回归
特征非线性临界点划分、不同种类特征的自动组合

五 NB 朴素贝叶斯

1.求p(y|x)的方法
p(y│x)=p(y│x^1,x^2,⋯x^m )=(p(x^1,x^2,⋯x^M│y)p(y))/p(x^1,x^2,⋯x^M ) ∝p(x^1,x^2,⋯x^M│y)p(y)
= p(x^1 │y)⋯p(x^M│y)p(y)条件独立性假设
2.拉格朗日乘数法
证明按频率选可以得到极值
3.连续值
设xj为连续值,通常假设p(xj|y)服从正态分布

六 Ensemble 集成学习

1.策略:改变数据集
Bagging:Bootstrap取样,即有放回
没被采样的概率
Random Forests
随机造K个树:属性选取随机,属性划分随机
那些取样随机的树会被处理为噪声
2.策略:改变算法(权值)
Boosting: Adaboost
训练误差的上界

Chapter 2 结构学习

七 概率图模型

1.定义
节点:随机变量
边:随机变量的关系
2.分类
有向边:贝叶斯网络
无向边:马尔科夫随机场
3.转换:
有向图到全概率公式、公式到有向图
任意概率式子,都可借助sum rule变成p(node|pa)的形式
4.盘子模型
5.条件独立
若 则称
等价形式:
6.概率图转化为条件独立
Tail to tail 成立
Head to tail 成立
Head to head 不成立
考虑A与B之间的每条(无向)路径,若A与B之间的每条路径都被“阻断”,那么:条件独立成立;反之,不成立。
定义:“A与B之间的某条路径”被阻断,当且仅当,这条路径中存在某个节点满足如下两个条件之一
这个节点在集合C中,且它呈现head-to-tail或tail-to-tail的模式
它呈现head-to-head的模式,且它和它的所有子孙节点都不在C中

八 概率矩阵分解

1.电影评分的概率图模型
见笔记
2.目标函数
见笔记

九 共现矩阵

1.共现矩阵的推导
2.主题模型PLSA
D->Z->W
隐变量Z有k个取值
需要学习的参数N +NK+KM
推导:EM算法(很重要)
3.引入隐变量的目的:获得可观察变量和隐变量的关系

十 混合高斯模型

1.模型输入输出
2.方法论:概率图建模
总结随机变量、引入隐变量、建立图模型、EM求解

十一 条件随机场

1.无向图概率图模型
分解
条件独立
2.CRF

十二 神经网络

1.实际的观点:神经网络以图形化的方式刻画出从输入到输出的计算过程
2.RNN应用
序列标注
PartOfSpeech标注;分词
翻译系统
核心技术:短语对齐
词嵌入:词->向量
注意力机制Scoring:前面的字词不能忘
对话系统
多机制建模(回答的丰富性)
要求:可控(安全)、流畅、相关
3.Viterbi vs. BeamSearch(RNN)

和土豪当朋友!
---以上---