目录 II
3.4 优化：随机梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.4.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.4.2 随机梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.4.3 动量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.5 卷积神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5.2 架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5.3 反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.6 练习：卷积神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.6.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
第四章 无监督学习 34
4.1 自编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.1.1 可视化已训练的自编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 PCA（主元分析）和白化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.1 引言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.2 实例和数学背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.3 旋转数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.4 数据降维 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.5 还原近似数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2.6 保留主元个数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.2.7 PCA 算法在图像中的应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2.8 白化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.2.9 二维实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.2.10 ZCA 白化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2.11 正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.2.12 实现主元分析和白化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3 练习：PCA 白化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4 稀疏编码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.4.1 概率解释 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.4.2 学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.5 ICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.5.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.5.2 正交 ICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.6 RICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.6.1 ICA 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
