目录 v
4.3 基于梯度的优化方法 . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.1 梯度之上：Jacobian 和 Hessian 矩阵 . . . . . . . . . 77
4.4 约束优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.5 实例：线性最小二乘 . . . . . . . . . . . . . . . . . . . . . . . 85
第五章 机器学习基础 87
5.1 学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.1.1 任务 T . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.1.2 性能度量 P . . . . . . . . . . . . . . . . . . . . . . . 91
5.1.3 经验 E . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.1.4 示例：线性回归 . . . . . . . . . . . . . . . . . . . . 94
5.2 容量、过拟合和欠拟合 . . . . . . . . . . . . . . . . . . . . . . 97
5.2.1 没有免费午餐定理 . . . . . . . . . . . . . . . . . . . 102
5.2.2 正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.3 超参数和验证集 . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.3.1 交叉验证 . . . . . . . . . . . . . . . . . . . . . . . . 106
5.4 估计、偏差和方差 . . . . . . . . . . . . . . . . . . . . . . . . 108
5.4.1 点估计 . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5.4.2 偏差 . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.4.3 方差和标准差 . . . . . . . . . . . . . . . . . . . . . . 111
5.4.4 权衡偏差和方差以最小化均方误差 . . . . . . . . . . 113
5.4.5 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.5 最大似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.5.1 条件对数似然和均方误差 . . . . . . . . . . . . . . . 116
5.5.2 最大似然的性质 . . . . . . . . . . . . . . . . . . . . 117
5.6 贝叶斯统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.6.1 最大后验 (MAP) 估计 . . . . . . . . . . . . . . . . . 121
5.7 监督学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.7.1 概率监督学习 . . . . . . . . . . . . . . . . . . . . . . 122
5.7.2 支持向量机 . . . . . . . . . . . . . . . . . . . . . . . 123
5.7.3 其他简单的监督学习算法 . . . . . . . . . . . . . . . 125
5.8 无监督学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.8.1 主成分分析 . . . . . . . . . . . . . . . . . . . . . . . 128
评论0