斯坦福 CS229T 统计学习理论讲义
需积分: 5 72 浏览量
2024-02-02
22:51:18
上传
评论
收藏 4.35MB PDF 举报
CS229T/STAT231：统计学习理论（2016年冬季）
Percy Liang
最后更新于2016年4月20日星期三01:36
这些讲义将会随着课程的进行而定期更新。附录中描述了基本符号、定义和定理。
目录
1 概述 4
1.1 这门课程是关于什么的？（第一讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 渐近性（第一讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 均匀收敛（第一讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 核方法（第一讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5 在线学习（第一讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 渐近性 10
2.1 概述（第一讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2 高斯均值估计（第一讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3 多项式估计（第一讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4 指数族（第二讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.5 最大熵原理（第二讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.6 潜变量模型的矩法（第3讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.7 固定设计线性回归（第3讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.8 一般损失函数和随机设计（第4讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.9 正则化固定设计线性回归（第4讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.10 总结（第4讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.11 参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3 均匀收敛 46
3.1 概述（第5讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2 正式设置（第5讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3 可实现的有限假设类（第5讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.4 通过均匀收敛的泛化界（第5讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.5 集中不等式（第5讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.6 有限假设类（第6讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.7 集中不等式（续）（第6讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.8 Rademacher复杂度（第6讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.9 有限假设类（第7讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.10 粉碎系数（第7讲） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
1
剩余216页未读，继续阅读
资源评论
