PRML_中译版.pdf马春鹏_prml马春鹏-机器学习文档类资源-CSDN文库

机器学习

所需积分/C币: 50

浏览量·530

RAR

10.31MB

2018-06-21 20:47:37 上传

身份认证购VIP最低享 7 折!

评论收藏

内容反馈

共1个文件

pdf：1个

资源推荐

资源详情

资源评论

收起资源包目录

PRML_中译版.rar （1个子文件）

PRML_中译版.pdf 11.5MB

<html xmlns="http://www.w3.org/1999/xhtml"><head><meta charset="utf-8"><meta name="generator" content="pdf2htmlEX"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><link rel="stylesheet" href="https://csdnimg.cn/release/download_crawler_static/css/base.min.css"><link rel="stylesheet" href="https://csdnimg.cn/release/download_crawler_static/css/fancy.min.css"><link rel="stylesheet" href="https://csdnimg.cn/release/download_crawler_static/10491452/raw.css"><script src="https://csdnimg.cn/release/download_crawler_static/js/compatibility.min.js"></script><script src="https://csdnimg.cn/release/download_crawler_static/js/pdf2htmlEX.min.js"></script><script>try{pdf2htmlEX.defaultViewer = new pdf2htmlEX.Viewer({});}catch(e){}</script><title></title></head><body><div id="sidebar" style="display: none"><div id="outline"></div></div><div id="pf1" class="pf w0 h0" data-page-no="1"><div class="pc pc1 w0 h0"><img class="bi x0 y0 w1 h1" alt="" src="https://csdnimg.cn/release/download_crawler_static/10491452/bg1.jpg"><div class="t m0 x1 h2 y1 ff1 fs0 fc0 sc0 ls0 ws0">模式识别与机器学习</div><div class="t m0 x2 h3 y2 ff1 fs1 fc0 sc0 ls0 ws0">马春鹏</div><div class="t m0 x3 h3 y3 ff1 fs1 fc0 sc0 ls0 ws0">October 26, 2014</div><div class="t m0 x4 h4 y4 ff1 fs2 fc0 sc0 ls0 ws0">1</div></div><div class="pi" data-data='{"ctm":[1.611850,0.000000,0.000000,1.611850,0.000000,0.000000]}'></div></div></body></html>

<div id="pf2" class="pf w0 h0" data-page-no="2"><div class="pc pc2 w0 h0"><img class="bi x0 y0 w1 h1" alt="" src="https://csdnimg.cn/release/download_crawler_static/10491452/bg2.jpg"><div class="t m0 x5 h5 y5 ff1 fs3 fc0 sc0 ls0 ws0">⽬录</div><div class="t m0 x5 h4 y6 ff1 fs2 fc0 sc0 ls0 ws0">1 绪论 9</div><div class="t m0 x6 h4 y7 ff1 fs2 fc0 sc0 ls0 ws0">1.1 例⼦：多项式曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10</div><div class="t m0 x6 h4 y8 ff1 fs2 fc0 sc0 ls0 ws0">1.2 概率论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16</div><div class="t m0 x7 h4 y9 ff1 fs2 fc0 sc0 ls0 ws0">1.2.1 概率密度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20</div><div class="t m0 x7 h4 ya ff1 fs2 fc0 sc0 ls0 ws0">1.2.2 期望和协⽅差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21</div><div class="t m0 x7 h4 yb ff1 fs2 fc0 sc0 ls0 ws0">1.2.3 贝叶斯概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22</div><div class="t m0 x7 h4 yc ff1 fs2 fc0 sc0 ls0 ws0">1.2.4 ⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24</div><div class="t m0 x7 h4 yd ff1 fs2 fc0 sc0 ls0 ws0">1.2.5 重新考察曲线拟合问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26</div><div class="t m0 x7 h4 ye ff1 fs2 fc0 sc0 ls0 ws0">1.2.6 贝叶斯曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28</div><div class="t m0 x6 h4 yf ff1 fs2 fc0 sc0 ls0 ws0">1.3 模型选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29</div><div class="t m0 x6 h4 y10 ff1 fs2 fc0 sc0 ls0 ws0">1.4 维度灾难 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30</div><div class="t m0 x6 h4 y11 ff1 fs2 fc0 sc0 ls0 ws0">1.5 决策论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33</div><div class="t m0 x7 h4 y12 ff1 fs2 fc0 sc0 ls0 ws0">1.5.1 最⼩化错误分类率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34</div><div class="t m0 x7 h4 y13 ff1 fs2 fc0 sc0 ls0 ws0">1.5.2 最⼩化期望损失 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35</div><div class="t m0 x7 h4 y14 ff1 fs2 fc0 sc0 ls0 ws0">1.5.3 拒绝选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35</div><div class="t m0 x7 h4 y15 ff1 fs2 fc0 sc0 ls0 ws0">1.5.4 推断和决策 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36</div><div class="t m0 x7 h4 y16 ff1 fs2 fc0 sc0 ls0 ws0">1.5.5 回归问题的损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38</div><div class="t m0 x6 h4 y17 ff1 fs2 fc0 sc0 ls0 ws0">1.6 信息论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39</div><div class="t m0 x7 h4 y18 ff1 fs2 fc0 sc0 ls0 ws0">1.6.1 相对熵和互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44</div><div class="t m0 x6 h4 y19 ff1 fs2 fc0 sc0 ls0 ws0">1.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46</div><div class="t m0 x5 h4 y1a ff1 fs2 fc0 sc0 ls0 ws0">2 概率分布 52</div><div class="t m0 x6 h4 y1b ff1 fs2 fc0 sc0 ls0 ws0">2.1 ⼆元变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52</div><div class="t m0 x7 h4 y1c ff1 fs2 fc0 sc0 ls0 ws0">2.1.1 Beta分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54</div><div class="t m0 x6 h4 y1d ff1 fs2 fc0 sc0 ls0 ws0">2.2 多项式变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56</div><div class="t m0 x7 h4 y1e ff1 fs2 fc0 sc0 ls0 ws0">2.2.1 狄利克雷分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58</div><div class="t m0 x6 h4 y1f ff1 fs2 fc0 sc0 ls0 ws0">2.3 ⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59</div><div class="t m0 x7 h4 y20 ff1 fs2 fc0 sc0 ls0 ws0">2.3.1 条件⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63</div><div class="t m0 x7 h4 y21 ff1 fs2 fc0 sc0 ls0 ws0">2.3.2 边缘⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65</div><div class="t m0 x7 h4 y22 ff1 fs2 fc0 sc0 ls0 ws0">2.3.3 ⾼斯变量的贝叶斯定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67</div><div class="t m0 x7 h4 y23 ff1 fs2 fc0 sc0 ls0 ws0">2.3.4 ⾼斯分布的最⼤似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69</div><div class="t m0 x7 h4 y24 ff1 fs2 fc0 sc0 ls0 ws0">2.3.5 顺序估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69</div><div class="t m0 x7 h4 y25 ff1 fs2 fc0 sc0 ls0 ws0">2.3.6 ⾼斯分布的贝叶斯推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71</div><div class="t m0 x7 h4 y26 ff1 fs2 fc0 sc0 ls0 ws0">2.3.7 学⽣t分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75</div><div class="t m0 x7 h4 y27 ff1 fs2 fc0 sc0 ls0 ws0">2.3.8 周期变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77</div><div class="t m0 x7 h4 y28 ff1 fs2 fc0 sc0 ls0 ws0">2.3.9 混合⾼斯模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81</div><div class="t m0 x6 h4 y29 ff1 fs2 fc0 sc0 ls0 ws0">2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83</div><div class="t m0 x7 h4 y2a ff1 fs2 fc0 sc0 ls0 ws0">2.4.1 最⼤似然与充分统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86</div><div class="t m0 x7 h4 y2b ff1 fs2 fc0 sc0 ls0 ws0">2.4.2 共轭先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87</div><div class="t m0 x7 h4 y2c ff1 fs2 fc0 sc0 ls0 ws0">2.4.3 ⽆信息先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87</div><div class="t m0 x6 h4 y2d ff1 fs2 fc0 sc0 ls0 ws0">2.5 ⾮参数化⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89</div><div class="t m0 x7 h4 y2e ff1 fs2 fc0 sc0 ls0 ws0">2.5.1 核密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90</div><div class="t m0 x7 h4 y2f ff1 fs2 fc0 sc0 ls0 ws0">2.5.2 近邻⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92</div><div class="t m0 x6 h4 y30 ff1 fs2 fc0 sc0 ls0 ws0">2.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94</div><div class="t m0 x5 h4 y31 ff1 fs2 fc0 sc0 ls0 ws0">3 回归的线性模型 101</div><div class="t m0 x6 h4 y32 ff1 fs2 fc0 sc0 ls0 ws0">3.1 线性基函数模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101</div><div class="t m0 x7 h4 y33 ff1 fs2 fc0 sc0 ls0 ws0">3.1.1 最⼤似然与最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102</div><div class="t m0 x7 h4 y34 ff1 fs2 fc0 sc0 ls0 ws0">3.1.2 最⼩平⽅的⼏何描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105</div><div class="t m0 x7 h4 y35 ff1 fs2 fc0 sc0 ls0 ws0">3.1.3 顺序学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105</div><div class="t m0 x4 h4 y4 ff1 fs2 fc0 sc0 ls0 ws0">2</div></div><div class="pi" data-data='{"ctm":[1.611850,0.000000,0.000000,1.611850,0.000000,0.000000]}'></div></div>

<div id="pf3" class="pf w0 h0" data-page-no="3"><div class="pc pc3 w0 h0"><img class="bi x0 y0 w1 h1" alt="" src="https://csdnimg.cn/release/download_crawler_static/10491452/bg3.jpg"><div class="t m0 x7 h4 y5 ff1 fs2 fc0 sc0 ls0 ws0">3.1.4 正则化最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105</div><div class="t m0 x7 h4 y36 ff1 fs2 fc0 sc0 ls0 ws0">3.1.5 多个输出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106</div><div class="t m0 x6 h4 y37 ff1 fs2 fc0 sc0 ls0 ws0">3.2 偏置-⽅差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108</div><div class="t m0 x6 h4 y38 ff1 fs2 fc0 sc0 ls0 ws0">3.3 贝叶斯线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111</div><div class="t m0 x7 h4 y39 ff1 fs2 fc0 sc0 ls0 ws0">3.3.1 参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111</div><div class="t m0 x7 h4 y3a ff1 fs2 fc0 sc0 ls0 ws0">3.3.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113</div><div class="t m0 x7 h4 y3b ff1 fs2 fc0 sc0 ls0 ws0">3.3.3 等价核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116</div><div class="t m0 x6 h4 y3c ff1 fs2 fc0 sc0 ls0 ws0">3.4 贝叶斯模型⽐较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118</div><div class="t m0 x6 h4 y3d ff1 fs2 fc0 sc0 ls0 ws0">3.5 证据近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121</div><div class="t m0 x7 h4 y3e ff1 fs2 fc0 sc0 ls0 ws0">3.5.1 计算证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121</div><div class="t m0 x7 h4 y3f ff1 fs2 fc0 sc0 ls0 ws0">3.5.2 最⼤化证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123</div><div class="t m0 x7 h4 y40 ff1 fs2 fc0 sc0 ls0 ws0">3.5.3 参数的有效数量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124</div><div class="t m0 x6 h4 y41 ff1 fs2 fc0 sc0 ls0 ws0">3.6 固定基函数的局限性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126</div><div class="t m0 x6 h4 y42 ff1 fs2 fc0 sc0 ls0 ws0">3.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126</div><div class="t m0 x5 h4 y43 ff1 fs2 fc0 sc0 ls0 ws0">4 分类的线性模型 130</div><div class="t m0 x6 h4 y44 ff1 fs2 fc0 sc0 ls0 ws0">4.1 判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131</div><div class="t m0 x7 h4 y45 ff1 fs2 fc0 sc0 ls0 ws0">4.1.1 ⼆分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131</div><div class="t m0 x7 h4 y46 ff1 fs2 fc0 sc0 ls0 ws0">4.1.2 多分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132</div><div class="t m0 x7 h4 y47 ff1 fs2 fc0 sc0 ls0 ws0">4.1.3 ⽤于分类的最⼩平⽅⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133</div><div class="t m0 x7 h4 y48 ff1 fs2 fc0 sc0 ls0 ws0">4.1.4 Fisher线性判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135</div><div class="t m0 x7 h4 y49 ff1 fs2 fc0 sc0 ls0 ws0">4.1.5 与最⼩平⽅的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137</div><div class="t m0 x7 h4 y4a ff1 fs2 fc0 sc0 ls0 ws0">4.1.6 多分类的Fisher判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138</div><div class="t m0 x7 h4 y4b ff1 fs2 fc0 sc0 ls0 ws0">4.1.7 感知器算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139</div><div class="t m0 x6 h4 y4c ff1 fs2 fc0 sc0 ls0 ws0">4.2 概率⽣成式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141</div><div class="t m0 x7 h4 y4d ff1 fs2 fc0 sc0 ls0 ws0">4.2.1 连续输⼊ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143</div><div class="t m0 x7 h4 y4e ff1 fs2 fc0 sc0 ls0 ws0">4.2.2 最⼤似然解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144</div><div class="t m0 x7 h4 y4f ff1 fs2 fc0 sc0 ls0 ws0">4.2.3 离散特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146</div><div class="t m0 x7 h4 y50 ff1 fs2 fc0 sc0 ls0 ws0">4.2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146</div><div class="t m0 x6 h4 y51 ff1 fs2 fc0 sc0 ls0 ws0">4.3 概率判别式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147</div><div class="t m0 x7 h4 y52 ff1 fs2 fc0 sc0 ls0 ws0">4.3.1 固定基函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147</div><div class="t m0 x7 h4 y53 ff1 fs2 fc0 sc0 ls0 ws0">4.3.2 logistic回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148</div><div class="t m0 x7 h4 y54 ff1 fs2 fc0 sc0 ls0 ws0">4.3.3 迭代重加权最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149</div><div class="t m0 x7 h4 y55 ff1 fs2 fc0 sc0 ls0 ws0">4.3.4 多类logistic回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150</div><div class="t m0 x7 h4 y56 ff1 fs2 fc0 sc0 ls0 ws0">4.3.5 probit回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151</div><div class="t m0 x7 h4 y57 ff1 fs2 fc0 sc0 ls0 ws0">4.3.6 标准链接函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152</div><div class="t m0 x6 h4 y58 ff1 fs2 fc0 sc0 ls0 ws0">4.4 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154</div><div class="t m0 x7 h4 y59 ff1 fs2 fc0 sc0 ls0 ws0">4.4.1 模型⽐较和BIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155</div><div class="t m0 x6 h4 y5a ff1 fs2 fc0 sc0 ls0 ws0">4.5 贝叶斯logistic回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156</div><div class="t m0 x7 h4 y5b ff1 fs2 fc0 sc0 ls0 ws0">4.5.1 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156</div><div class="t m0 x7 h4 y5c ff1 fs2 fc0 sc0 ls0 ws0">4.5.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157</div><div class="t m0 x6 h4 y5d ff1 fs2 fc0 sc0 ls0 ws0">4.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158</div><div class="t m0 x5 h4 y5e ff1 fs2 fc0 sc0 ls0 ws0">5 神经⽹络 161</div><div class="t m0 x6 h4 y5f ff1 fs2 fc0 sc0 ls0 ws0">5.1 前馈神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161</div><div class="t m0 x7 h4 y60 ff1 fs2 fc0 sc0 ls0 ws0">5.1.1 权空间对称性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165</div><div class="t m0 x6 h4 y61 ff1 fs2 fc0 sc0 ls0 ws0">5.2 ⽹络训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165</div><div class="t m0 x7 h4 y62 ff1 fs2 fc0 sc0 ls0 ws0">5.2.1 参数最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168</div><div class="t m0 x7 h4 y63 ff1 fs2 fc0 sc0 ls0 ws0">5.2.2 局部⼆次近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169</div><div class="t m0 x7 h4 y64 ff1 fs2 fc0 sc0 ls0 ws0">5.2.3 使⽤梯度信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170</div><div class="t m0 x7 h4 y65 ff1 fs2 fc0 sc0 ls0 ws0">5.2.4 梯度下降最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170</div><div class="t m0 x6 h4 y66 ff1 fs2 fc0 sc0 ls0 ws0">5.3 误差反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171</div><div class="t m0 x4 h4 y4 ff1 fs2 fc0 sc0 ls0 ws0">3</div></div><div class="pi" data-data='{"ctm":[1.611850,0.000000,0.000000,1.611850,0.000000,0.000000]}'></div></div>

<div id="pf4" class="pf w0 h0" data-page-no="4"><div class="pc pc4 w0 h0"><img class="bi x0 y0 w1 h1" alt="" src="https://csdnimg.cn/release/download_crawler_static/10491452/bg4.jpg"><div class="t m0 x7 h4 y5 ff1 fs2 fc0 sc0 ls0 ws0">5.3.1 误差函数导数的计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172</div><div class="t m0 x7 h4 y36 ff1 fs2 fc0 sc0 ls0 ws0">5.3.2 ⼀个简单的例⼦ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174</div><div class="t m0 x7 h4 y37 ff1 fs2 fc0 sc0 ls0 ws0">5.3.3 反向传播的效率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175</div><div class="t m0 x7 h4 y38 ff1 fs2 fc0 sc0 ls0 ws0">5.3.4 Jacobian矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175</div><div class="t m0 x6 h4 y39 ff1 fs2 fc0 sc0 ls0 ws0">5.4 Hessian矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177</div><div class="t m0 x7 h4 y3a ff1 fs2 fc0 sc0 ls0 ws0">5.4.1 对⾓近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177</div><div class="t m0 x7 h4 y3b ff1 fs2 fc0 sc0 ls0 ws0">5.4.2 外积近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178</div><div class="t m0 x7 h4 y3c ff1 fs2 fc0 sc0 ls0 ws0">5.4.3 Hessian矩阵的逆矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178</div><div class="t m0 x7 h4 y3d ff1 fs2 fc0 sc0 ls0 ws0">5.4.4 有限差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179</div><div class="t m0 x7 h4 y3e ff1 fs2 fc0 sc0 ls0 ws0">5.4.5 Hessian矩阵的精确计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179</div><div class="t m0 x7 h4 y3f ff1 fs2 fc0 sc0 ls0 ws0">5.4.6 Hessian矩阵的快速乘法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180</div><div class="t m0 x6 h4 y40 ff1 fs2 fc0 sc0 ls0 ws0">5.5 神经⽹络的正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182</div><div class="t m0 x7 h4 y41 ff1 fs2 fc0 sc0 ls0 ws0">5.5.1 相容的⾼斯先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183</div><div class="t m0 x7 h4 y42 ff1 fs2 fc0 sc0 ls0 ws0">5.5.2 早停⽌ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185</div><div class="t m0 x7 h4 y67 ff1 fs2 fc0 sc0 ls0 ws0">5.5.3 不变性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186</div><div class="t m0 x7 h4 y68 ff1 fs2 fc0 sc0 ls0 ws0">5.5.4 切线传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187</div><div class="t m0 x7 h4 y69 ff1 fs2 fc0 sc0 ls0 ws0">5.5.5 ⽤变换后的数据训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189</div><div class="t m0 x7 h4 y6a ff1 fs2 fc0 sc0 ls0 ws0">5.5.6 卷积神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190</div><div class="t m0 x7 h4 y6b ff1 fs2 fc0 sc0 ls0 ws0">5.5.7 软权值共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191</div><div class="t m0 x6 h4 y6c ff1 fs2 fc0 sc0 ls0 ws0">5.6 混合密度⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193</div><div class="t m0 x6 h4 y6d ff1 fs2 fc0 sc0 ls0 ws0">5.7 贝叶斯神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197</div><div class="t m0 x7 h4 y6e ff1 fs2 fc0 sc0 ls0 ws0">5.7.1 后验参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198</div><div class="t m0 x7 h4 y6f ff1 fs2 fc0 sc0 ls0 ws0">5.7.2 超参数最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199</div><div class="t m0 x7 h4 y70 ff1 fs2 fc0 sc0 ls0 ws0">5.7.3 ⽤于分类的贝叶斯神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200</div><div class="t m0 x6 h4 y71 ff1 fs2 fc0 sc0 ls0 ws0">5.8 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202</div><div class="t m0 x5 h4 y4e ff1 fs2 fc0 sc0 ls0 ws0">6 核⽅法 206</div><div class="t m0 x6 h4 y4f ff1 fs2 fc0 sc0 ls0 ws0">6.1 对偶表⽰ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206</div><div class="t m0 x6 h4 y50 ff1 fs2 fc0 sc0 ls0 ws0">6.2 构造核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207</div><div class="t m0 x6 h4 y51 ff1 fs2 fc0 sc0 ls0 ws0">6.3 径向基函数⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211</div><div class="t m0 x7 h4 y52 ff1 fs2 fc0 sc0 ls0 ws0">6.3.1 Nadaraya-Watson模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212</div><div class="t m0 x6 h4 y53 ff1 fs2 fc0 sc0 ls0 ws0">6.4 ⾼斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214</div><div class="t m0 x7 h4 y54 ff1 fs2 fc0 sc0 ls0 ws0">6.4.1 重新考虑线性回归问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214</div><div class="t m0 x7 h4 y55 ff1 fs2 fc0 sc0 ls0 ws0">6.4.2 ⽤于回归的⾼斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216</div><div class="t m0 x7 h4 y56 ff1 fs2 fc0 sc0 ls0 ws0">6.4.3 学习超参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219</div><div class="t m0 x7 h4 y57 ff1 fs2 fc0 sc0 ls0 ws0">6.4.4 ⾃动相关性确定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220</div><div class="t m0 x7 h4 y58 ff1 fs2 fc0 sc0 ls0 ws0">6.4.5 ⽤于分类的⾼斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221</div><div class="t m0 x7 h4 y59 ff1 fs2 fc0 sc0 ls0 ws0">6.4.6 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222</div><div class="t m0 x7 h4 y5a ff1 fs2 fc0 sc0 ls0 ws0">6.4.7 与神经⽹络的联系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225</div><div class="t m0 x6 h4 y5b ff1 fs2 fc0 sc0 ls0 ws0">6.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225</div><div class="t m0 x5 h4 y72 ff1 fs2 fc0 sc0 ls0 ws0">7 稀疏核机 228</div><div class="t m0 x6 h4 y73 ff1 fs2 fc0 sc0 ls0 ws0">7.1 最⼤边缘分类器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228</div><div class="t m0 x7 h4 y5e ff1 fs2 fc0 sc0 ls0 ws0">7.1.1 重叠类分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231</div><div class="t m0 x7 h4 y5f ff1 fs2 fc0 sc0 ls0 ws0">7.1.2 与logistic回归的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235</div><div class="t m0 x7 h4 y60 ff1 fs2 fc0 sc0 ls0 ws0">7.1.3 多类SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236</div><div class="t m0 x7 h4 y61 ff1 fs2 fc0 sc0 ls0 ws0">7.1.4 回归问题的SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237</div><div class="t m0 x7 h4 y62 ff1 fs2 fc0 sc0 ls0 ws0">7.1.5 计算学习理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240</div><div class="t m0 x6 h4 y63 ff1 fs2 fc0 sc0 ls0 ws0">7.2 相关向量机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241</div><div class="t m0 x7 h4 y64 ff1 fs2 fc0 sc0 ls0 ws0">7.2.1 ⽤于回归的RVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241</div><div class="t m0 x7 h4 y65 ff1 fs2 fc0 sc0 ls0 ws0">7.2.2 稀疏性分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244</div><div class="t m0 x7 h4 y66 ff1 fs2 fc0 sc0 ls0 ws0">7.2.3 RVM⽤于分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247</div><div class="t m0 x4 h4 y4 ff1 fs2 fc0 sc0 ls0 ws0">4</div></div><div class="pi" data-data='{"ctm":[1.611850,0.000000,0.000000,1.611850,0.000000,0.000000]}'></div></div>

<div id="pf5" class="pf w0 h0" data-page-no="5"><div class="pc pc5 w0 h0"><img class="bi x0 y0 w1 h1" alt="" src="https://csdnimg.cn/release/download_crawler_static/10491452/bg5.jpg"><div class="t m0 x6 h4 y5 ff1 fs2 fc0 sc0 ls0 ws0">7.3 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249</div><div class="t m0 x5 h4 y74 ff1 fs2 fc0 sc0 ls0 ws0">8 图模型 251</div><div class="t m0 x6 h4 y75 ff1 fs2 fc0 sc0 ls0 ws0">8.1 贝叶斯⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251</div><div class="t m0 x7 h4 y76 ff1 fs2 fc0 sc0 ls0 ws0">8.1.1 例⼦：多项式回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253</div><div class="t m0 x7 h4 y77 ff1 fs2 fc0 sc0 ls0 ws0">8.1.2 ⽣成式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255</div><div class="t m0 x7 h4 y78 ff1 fs2 fc0 sc0 ls0 ws0">8.1.3 离散变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255</div><div class="t m0 x7 h4 y79 ff1 fs2 fc0 sc0 ls0 ws0">8.1.4 线性⾼斯模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257</div><div class="t m0 x6 h4 y7a ff1 fs2 fc0 sc0 ls0 ws0">8.2 条件独⽴ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259</div><div class="t m0 x7 h4 y7b ff1 fs2 fc0 sc0 ls0 ws0">8.2.1 图的三个例⼦ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260</div><div class="t m0 x7 h4 y7c ff1 fs2 fc0 sc0 ls0 ws0">8.2.2 d-划分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264</div><div class="t m0 x6 h4 y7d ff1 fs2 fc0 sc0 ls0 ws0">8.3 马尔科夫随机场 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266</div><div class="t m0 x7 h4 y7e ff1 fs2 fc0 sc0 ls0 ws0">8.3.1 条件独⽴性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267</div><div class="t m0 x7 h4 y7f ff1 fs2 fc0 sc0 ls0 ws0">8.3.2 分解性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268</div><div class="t m0 x7 h4 y80 ff1 fs2 fc0 sc0 ls0 ws0">8.3.3 例⼦：图像去噪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269</div><div class="t m0 x7 h4 y43 ff1 fs2 fc0 sc0 ls0 ws0">8.3.4 与有向图的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271</div><div class="t m0 x6 h4 y44 ff1 fs2 fc0 sc0 ls0 ws0">8.4 图模型中的推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274</div><div class="t m0 x7 h4 y45 ff1 fs2 fc0 sc0 ls0 ws0">8.4.1 链推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274</div><div class="t m0 x7 h4 y46 ff1 fs2 fc0 sc0 ls0 ws0">8.4.2 树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277</div><div class="t m0 x7 h4 y47 ff1 fs2 fc0 sc0 ls0 ws0">8.4.3 因⼦图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277</div><div class="t m0 x7 h4 y48 ff1 fs2 fc0 sc0 ls0 ws0">8.4.4 加和-乘积算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279</div><div class="t m0 x7 h4 y49 ff1 fs2 fc0 sc0 ls0 ws0">8.4.5 最⼤加和算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285</div><div class="t m0 x7 h4 y4a ff1 fs2 fc0 sc0 ls0 ws0">8.4.6 ⼀般图的精确推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289</div><div class="t m0 x7 h4 y4b ff1 fs2 fc0 sc0 ls0 ws0">8.4.7 循环置信传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289</div><div class="t m0 x7 h4 y4c ff1 fs2 fc0 sc0 ls0 ws0">8.4.8 学习图结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290</div><div class="t m0 x6 h4 y4d ff1 fs2 fc0 sc0 ls0 ws0">8.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290</div><div class="t m0 x5 h4 y81 ff1 fs2 fc0 sc0 ls0 ws0">9 混合模型和EM 293</div><div class="t m0 x6 h4 y82 ff1 fs2 fc0 sc0 ls0 ws0">9.1 K均值聚类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293</div><div class="t m0 x7 h4 y83 ff1 fs2 fc0 sc0 ls0 ws0">9.1.1 图像分割与压缩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296</div><div class="t m0 x6 h4 y84 ff1 fs2 fc0 sc0 ls0 ws0">9.2 混合⾼斯 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297</div><div class="t m0 x7 h4 y85 ff1 fs2 fc0 sc0 ls0 ws0">9.2.1 最⼤似然 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298</div><div class="t m0 x7 h4 y86 ff1 fs2 fc0 sc0 ls0 ws0">9.2.2 ⽤于⾼斯混合模型的EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300</div><div class="t m0 x6 h4 y87 ff1 fs2 fc0 sc0 ls0 ws0">9.3 EM的另⼀种观点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303</div><div class="t m0 x7 h4 y88 ff1 fs2 fc0 sc0 ls0 ws0">9.3.1 重新考察⾼斯混合模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304</div><div class="t m0 x7 h4 y89 ff1 fs2 fc0 sc0 ls0 ws0">9.3.2 与K均值的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305</div><div class="t m0 x7 h4 y8a ff1 fs2 fc0 sc0 ls0 ws0">9.3.3 伯努利分布的混合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306</div><div class="t m0 x7 h4 y8b ff1 fs2 fc0 sc0 ls0 ws0">9.3.4 贝叶斯线性回归的EM算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309</div><div class="t m0 x6 h4 y8c ff1 fs2 fc0 sc0 ls0 ws0">9.4 ⼀般形式的EM算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310</div><div class="t m0 x6 h4 y8d ff1 fs2 fc0 sc0 ls0 ws0">9.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313</div><div class="t m0 x5 h4 y8e ff1 fs2 fc0 sc0 ls0 ws0">10 近似推断 316</div><div class="t m0 x6 h4 y8f ff1 fs2 fc0 sc0 ls0 ws0">10.1 变分推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316</div><div class="t m0 x7 h4 y90 ff1 fs2 fc0 sc0 ls0 ws0">10.1.1 分解概率分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317</div><div class="t m0 x7 h4 y91 ff1 fs2 fc0 sc0 ls0 ws0">10.1.2 分解近似的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319</div><div class="t m0 x7 h4 y92 ff1 fs2 fc0 sc0 ls0 ws0">10.1.3 例⼦：⼀元⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321</div><div class="t m0 x7 h4 y93 ff1 fs2 fc0 sc0 ls0 ws0">10.1.4 模型⽐较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324</div><div class="t m0 x6 h4 y94 ff1 fs2 fc0 sc0 ls0 ws0">10.2 例⼦：⾼斯的变分混合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324</div><div class="t m0 x7 h4 y95 ff1 fs2 fc0 sc0 ls0 ws0">10.2.1 变分分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325</div><div class="t m0 x7 h4 y96 ff1 fs2 fc0 sc0 ls0 ws0">10.2.2 变分下界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329</div><div class="t m0 x7 h4 y97 ff1 fs2 fc0 sc0 ls0 ws0">10.2.3 预测概率密度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330</div><div class="t m0 x7 h4 y98 ff1 fs2 fc0 sc0 ls0 ws0">10.2.4 确定分量的数量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331</div><div class="t m0 x4 h4 y4 ff1 fs2 fc0 sc0 ls0 ws0">5</div></div><div class="pi" data-data='{"ctm":[1.611850,0.000000,0.000000,1.611850,0.000000,0.000000]}'></div></div>

评论收藏

内容反馈