1、模式识别与机器学习 马春鹏 October 26, 2014 1录 1 绪论 9 1.1 例：多项式曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2 概率论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.2.1 概率密度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2、. . . . . . . . . 20 1.2.2 期望和协差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.2.3 贝叶斯概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.2.4 斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.2.5 重新考察
3、曲线拟合问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1.2.6 贝叶斯曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.3 模型选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1.4 维度灾难 . . . . . . . . . . . . . . . .
4、. . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.5 决策论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.5.1 最化错误分类率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 1.5.2 最化期望损失 . . . . . . . . . . . . . . . . . . . . .
5、. . . . . . . . . . . . . . 35 1.5.3 拒绝选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.5.4 推断和决策 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 1.5.5 回归问题的损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 1.6
6、 信息论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.6.1 相对熵和互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 1.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2 概率分布 52 2.1
7、 元变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 2.1.1 Beta分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 2.2 多项式变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 2.2.1 狄利克雷分布
8、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.3 斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.3.1 条件斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.3.2 边缘斯分布 . . . . . . . . . . . . . .
9、 . . . . . . . . . . . . . . . . . . . . . . 65 2.3.3 斯变量的贝叶斯定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 2.3.4 斯分布的最似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.3.5 顺序估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.
10、3.6 斯分布的贝叶斯推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.3.7 学 t分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 2.3.8 周期变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 2.3.9 混合斯模型 . . . . . . . . . . . .
11、. . . . . . . . . . . . . . . . . . . . . . . . 81 2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 2.4.1 最似然与充分统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 2.4.2 共轭先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12、. . . . . . . . . 87 2.4.3 信息先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 2.5 参数化法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 2.5.1 核密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 2.5.
13、2 近邻法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 2.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 3 回归的线性模型 101 3.1 线性基函数模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.1
14、.1 最似然与最平 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.1.2 最平的何描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 3.1.3 顺序学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 23.1.4 正则化最平 . . . . . . . . . . . . . . . . . .
15、 . . . . . . . . . . . . . . . . . 105 3.1.5 多个输出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.2 偏置-差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 3.3 贝叶斯线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16、 . . . . . . . . 111 3.3.1 参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 3.3.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 3.3.3 等价核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
17、16 3.4 贝叶斯模型较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 3.5 证据近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 3.5.1 计算证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 3.5.2 最化证据函数 .
18、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 3.5.3 参数的有效数量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 3.6 固定基函数的局限性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 3.7 练习 . . . . . . . . . . . . . . . . . . . .
19、. . . . . . . . . . . . . . . . . . . . . . . . . . 126 4 分类的线性模型 130 4.1 判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 4.1.1 分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 4.1.2 多分类 . . . . . . . . . . . .
20、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 4.1.3 于分类的最平法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 4.1.4 Fisher线性判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 4.1.5 与最平的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21、. . . . 137 4.1.6 多分类的 Fisher判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 4.1.7 感知器算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 4.2 概率成式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 4.2.1 连续输 . . . .
22、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 4.2.2 最似然解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 4.2.3 离散特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 4.2.4 指数族分布 . . . . . . . . . . . . . . .
23、 . . . . . . . . . . . . . . . . . . . . . . . 146 4.3 概率判别式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 4.3.1 固定基函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 4.3.2 logistic回归 . . . . . . . . . . . . . . . . . . . . . . .
24、. . . . . . . . . . . . . . . 148 4.3.3 迭代重加权最平 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 4.3.4 多类 logistic回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 4.3.5 probit回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25、 . 151 4.3.6 标准链接函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 4.4 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 4.4.1 模型较和 BIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 4.5 贝叶斯 logistic回归
26、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.5.1 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.5.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6 练习 . . . . . . . . . . . . . . .
27、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 5 神经络 161 5.1 前馈神经络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 5.1.1 权空间对称性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 5.2 络训练 . . . . . . . . . . . . . . . .
28、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 5.2.1 参数最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 5.2.2 局部次近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 5.2.3 使梯度信息 . . . . . . . . . . . . . . . . . . . . . . . .
29、 . . . . . . . . . . . . 170 5.2.4 梯度下降最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 5.3 误差反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 35.3.1 误差函数导数的计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 5
30、.3.2 个简单的例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 5.3.3 反向传播的效率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 5.3.4 Jacobian矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 5.4 Hessian矩阵 . . . . . . . . .
31、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 5.4.1 对近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 5.4.2 外积近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 5.4.3 Hessian矩阵的逆矩阵 . . . . . . . . . . . . .
32、 . . . . . . . . . . . . . . . . . . . 178 5.4.4 有限差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 5.4.5 Hessian矩阵的精确计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 5.4.6 Hessian矩阵的快速乘法 . . . . . . . . . . . . . . . . . . . . . . . . . . .
33、 . . . . 180 5.5 神经络的正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 5.5.1 相容的斯先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 5.5.2 早停 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 5.5.3 不变性 . .
34、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 5.5.4 切线传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 5.5.5 变换后的数据训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 5.5.6 卷积神经络 . . . . . . . . . . . . . . .
35、 . . . . . . . . . . . . . . . . . . . . . 190 5.5.7 软权值共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 5.6 混合密度络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 5.7 贝叶斯神经络 . . . . . . . . . . . . . . . . . . . . . . . . . . .
36、. . . . . . . . . . . . 197 5.7.1 后验参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198 5.7.2 超参数最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 5.7.3 于分类的贝叶斯神经络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 5.8 练习 . . . . .
37、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202 6 核法 206 6.1 对偶表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 6.2 构造核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 6.3
38、 径向基函数络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 6.3.1 Nadaraya-W atson模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 6.4 斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 6.4.1 重新考虑线性回归问题
39、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 6.4.2 于回归的斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 6.4.3 学习超参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 6.4.4 动相关性确定 . . . . . . . . . . . . . . . . . . . . . . . .
40、 . . . . . . . . . . . 220 6.4.5 于分类的斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 6.4.6 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 6.4.7 与神经络的联系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 6.5 练习 . . . . .
41、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 7 稀疏核机 228 7.1 最边缘分类器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228 7.1.1 重叠类分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 7.1.2 与 logistic回
42、归的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 7.1.3 多类 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 7.1.4 回归问题的 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237 7.1.5 计算学习理论 . . . . . . . . . . . . . . .
43、 . . . . . . . . . . . . . . . . . . . . . 240 7.2 相关向量机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 7.2.1 于回归的 R VM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 7.2.2 稀疏性分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244 7.2.3 R VM于分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 4
