CS229 2022年春季 2
5 核方法 49
5.1 特征映射 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.2 具有特征的LMS（最小均方） . . . . . . . . . . . . . . . . . . . . . . . . 50
5.3 具有核技巧的LMS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.4 核函数的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
6 支持向量机 60
6.1 间隔：直觉 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2 符号表示（可选阅读） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.3 函数和几何间隔（可选阅读） . . . . . . . . . . . . . . . . . . . . . . . . 62
6.4 最优间隔分类器（可选阅读） . . . . . . . . . . . . . . . . . . . . . . . . 64
6.5 拉格朗日对偶性（可选阅读） . . . . . . . . . . . . . . . . . . . . . . . . 66
6.6 最优间隔分类器：对偶形式（可选阅读） . . 69
6.7 正则化和非可分情况（可选阅读） . 73
6.8 SMO算法（可选阅读） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
6.8.1 坐标上升 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
6.8.2 SMO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
II 深度学习 80
7 深度学习 81
7.1 非线性模型的监督学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.2 神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
7.3 反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
7.3.1 初步：链式法则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.3.2 单神经元神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.3.3 两层神经网络：低级展开计算
计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
7.3.4 两层神经网络的向量表示 . . . . . . . . . . . . . . . . . . . . . . . 97
7.3.5 多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7.4 向量化训练样本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
III 泛化和正则化 102
8 泛化 103
8.1 偏差-方差权衡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105
8.1.1 数学分解（用于回归）. . . . . . . . . . . . . . . . . . . . . . . . . .110
8.2 双下降现象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
