DRAFT
仅供学习使用，不得用于商业目的。https://github.com/exacity/deeplearningbook-chinese
目录 5
第五章 机器学习基础 81
5.1 学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.1.1 任务，T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.1.2 性能衡量，P . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.1.3 经验，E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.1.4 实例：线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.2 容量，过拟合和欠拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.1 没有免费午餐定理 . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2.2 正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.3 超参数和验证集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.3.1 交叉验证 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.4 估计，偏差和方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.4.1 点估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.4.2 偏差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.4.3 方差和标准误差 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.4.4 权衡偏值和方差以最小化均方误差 . . . . . . . . . . . . . . . . 105
5.4.5 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.5 最大似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.5.1 条件对数似然和均方误差 . . . . . . . . . . . . . . . . . . . . . 108
5.5.2 最大似然的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.6 贝叶斯统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.6.1
最大后验（
MAP
）估计
. . . . . . . . . . . . . . . . . . . . . . 112
5.7 监督学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.7.1 概率监督学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.7.2 支持向量机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.7.3 其他简单的监督学习算法 . . . . . . . . . . . . . . . . . . . . . 116
5.8 无监督学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.8.1 PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.8.2 k-均值聚类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.9 随机梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.10 构建机器学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.11 推动深度学习的挑战 . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.11.1 维数灾难 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
