没有合适的资源?快使用搜索试试~ 我知道了~
吴恩达机器学习笔记
4星 · 超过85%的资源 需积分: 10 7 下载量 13 浏览量
2018-11-07
11:23:56
上传
评论
收藏 1.83MB PDF 举报
温馨提示
吴恩达老师斯坦福cs231机器学习笔记详细整理,包含吴恩达老师课程详细讲解,是入门机器学习的必备资源
资源推荐
资源详情
资源评论
关丹辉 chrispher2012@gmail.com
数据,为梦想而生 | FOR THE DREAM
仅以此笔记,献给我们奋斗过的青春
个人笔记,仅用于学习交流
机器学习
斯坦福《机器学习》公开课笔记
Probability theory provides a framework for expressing such uncertainty in
a precise and quantitative manner, and decision theory allows us to exploit
this probabilistic representation in order to make predictions that are
optimal according to appropriate criteria.
概率理论提供了用精度和量化的方法来描述随机现象,而决策理论则使我们能够
根据概率做出适当预测。
1
目录
1.
机器学习的动机与应用 ..................................................................................................... 4
1.1.
机器学习定义 ...................................................................................................... 4
1.2.
基础知识需求与常见应用 ................................................................................... 4
1.3.
机器学习算法分类 ............................................................................................... 4
1.4.
监督式学习 .......................................................................................................... 5
2.
监督学习的应用与梯度下降 .............................................................................................. 6
2.1.
监督学习 .............................................................................................................. 6
2.2.
梯度下降 .............................................................................................................. 6
2.2.1.
最小均方算法 ...................................................................................................... 6
2.2.2.
标准方程组推导 ................................................................................................... 7
2.2.3.
概率解释 .............................................................................................................. 8
3.
欠拟合与过拟合概念 ......................................................................................................... 9
3.1.
欠拟合与过拟合概念 ........................................................................................... 9
3.2.
局部加权线性回归 ............................................................................................... 9
3.3.
回归模型的概率解释 ......................................................................................... 11
3.4.
Logistic回归模型 .............................................................................................. 12
3.5.
感知器学习模型 ................................................................................................. 14
4.
牛顿法与广义线性模型 ................................................................................................... 15
4.1.
牛顿法求解最优值 ............................................................................................. 15
4.2.
广义线性模型 .................................................................................................... 16
4.2.1.
指数族分布 ........................................................................................................ 16
4.2.2.
广义线性模型结构 ............................................................................................. 17
4.2.3.
Softmax 回归 ...................................................................................................... 18
5.
生成学习算法 ................................................................................................................... 22
5.1.
生成学习算法引入 ............................................................................................. 22
5.2.
高斯判别模型 .................................................................................................... 22
5.3.
GDA VS logistic回归 .......................................................................................... 24
5.4.
朴素贝叶斯 ........................................................................................................ 24
5.4.1.
朴素贝叶斯模型 ................................................................................................. 25
5.4.2.
拉普拉斯平滑 .................................................................................................... 27
6.
朴素贝叶斯算法 ............................................................................................................... 29
6.1.
文本分类模型 .................................................................................................... 29
6.2.
神经网络模型 .................................................................................................... 30
2
6.3.
支持向量机 ........................................................................................................ 32
6.3.1.
直觉上的间隔 .................................................................................................... 32
6.3.2.
符号表示 ............................................................................................................ 33
6.3.3.
几何间隔 ............................................................................................................ 33
7.
最优间隔分类器 ............................................................................................................... 36
7.1.
最优间隔分类器 ................................................................................................. 36
7.2.
拉格朗日对偶 .................................................................................................... 37
7.3.
最优间隔分类器 ................................................................................................. 39
8.
顺序最小化算法 ............................................................................................................... 43
8.1.
核方法 ................................................................................................................ 43
8.2.
正则化和线性不可分 ......................................................................................... 46
8.3.
坐标上升法 ........................................................................................................ 48
8.4.
序列最小算法(SMO) .......................................................................................... 49
9.
经验风险最小化 ............................................................................................................... 52
9.1.
偏差和方差的权衡 ............................................................................................. 52
9.2.
预备知识 ............................................................................................................ 53
9.3.
有限情况下的ℋ ................................................................................................. 54
10.
特征选择 ............................................................................................................ 58
10.1.
无限情况下的ℋ ................................................................................................. 58
10.2.
交叉验证(Cross validation) ............................................................................... 61
10.3.
特征选择 ............................................................................................................ 62
11.
贝叶斯统计正则化 ............................................................................................. 65
11.1.
贝叶斯统计和正则化 ......................................................................................... 65
11.2.
附录:过拟合思考 ............................................................................................. 66
11.3.
感知器和最大间隔分类 ..................................................................................... 67
11.4.
使用机器学习的一些建议 ................................................................................. 67
11.4.1.
调试学习算法 ............................................................................................. 67
11.4.2.
误差分析 ..................................................................................................... 70
12.
K-means算法 .................................................................................................... 71
12.1.
k-means聚类算法 ............................................................................................. 71
12.2.
高斯混合模型和最大期望算法 .......................................................................... 72
12.3.
最大期望算法一般化 ......................................................................................... 74
12.3.1.
Jensen不等式 ............................................................................................. 74
12.3.2.
EM算法 ...................................................................................................... 75
3
13.
高斯混合模型 .................................................................................................... 78
13.1.
高斯混合模型回顾 ............................................................................................. 78
13.2.
因子分析 ............................................................................................................ 79
13.2.1.
限制 Σ ......................................................................................................... 80
13.2.2.
边际和条件高斯分布 .................................................................................. 80
13.2.3.
因子分析模型 ............................................................................................. 81
14.
主成分分析法 .................................................................................................... 83
14.1.
因子分析 ............................................................................................................ 83
14.1.1.
EM算法求解因子分析 ............................................................................... 83
14.2.
主成分分析 ........................................................................................................ 85
15.
奇异值分解 ........................................................................................................ 90
15.1.
潜在语义索引 .................................................................................................... 90
15.2.
奇异值分解 ........................................................................................................ 90
15.3.
独立成分分析 .................................................................................................... 90
15.3.1.
独立成分分析引入 ...................................................................................... 90
15.3.2.
ICA 的不确定性(ICA ambiguities) .......................................................... 91
15.3.3.
密度函数和线性变换 .................................................................................. 92
15.3.4.
ICA 算法 ..................................................................................................... 93
16.
马尔可夫决策过程 ............................................................................................. 95
16.1.
概述 .................................................................................................................... 95
16.2.
马尔可夫决策过程 ............................................................................................. 95
16.3.
值迭代和策略迭代 ............................................................................................. 97
16.4.
MDP的一个学习模型 ........................................................................................ 98
17.
离散与维灾难 .................................................................................................. 100
17.1.
连续状态下的 MDP .......................................................................................... 100
18.
线性二次型调节控制 ....................................................................................... 103
18.1.
使用一个模型或 ............................................................................................... 103
18.2.
拟合值迭代 ...................................................................................................... 104
4
1. 机器学习的动机与应用
1.1. 机器学习定义
广义的来说,机器学习(wiki)是在不明确编程的情况下赋予机器学习的能力的一门科
学。而机器学习经典的定义是 Mitchell的《机器学习》中的一段:A computer program is
said to learn from experience E with respect to some class of tasks T and performance
measure P, if its performance at tasks in T, as measured by P, improves with experience E。
(对于某类任务 T 和性能度量 P,如果一个计算机程序在 T 上以 P 衡量的性能随着经验 E
而自我完善,那么我们称这个计算机程序在从经验 E 学习。)
举例子:垃圾邮件分类。任务 T是判断一封邮件是否是垃圾邮件,性能度量 P是识别
的准确率,经验 E是我们收集到的垃圾邮件和非垃圾邮件。我们的目标是设计一个算法,
该算法能够通过学习已有的数据,来准确的判断一封新的邮件是否是垃圾邮件。
一个完整定义的学习问题需要一个明确界定的任务、性能度量标准以及训练经验的来
源。
1.2. 基础知识需求与常见应用
机器学习是近 20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、
凸分析、算法复杂度理论等多门学科。
基础知识主要包括:①计算机科学的基本知识,包括基本的编程能力,知道算法复杂
度等概念以及一些数据结构如队列、栈、二叉树等。②概率论与统计知识(达到本科要求),
如随机变量,期望等等。③基本的线性代数课程(本科阶段),知道什么是矩阵以及矩阵特
征向量等等。
机器学习已经有了十分广泛的应用,例如:数据挖掘、计算机视觉、自然语言处理、
生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、
语音和手写识别、战略游戏和机器人运用。
1.3. 机器学习算法分类
监督学习:从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据
这个函数预测结果。监督学习的训练集要求是包括输入和输出,也可以说是特征和
目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分
类。
无监督学习与监督学习相比,训练集没有人为标注的结果。常见的无监督学习算法
有聚类。
半监督学习介于监督学习与无监督学习之间。
剩余106页未读,继续阅读
资源评论
- king__02019-02-26正是我需要的,值得下载
a_marker
- 粉丝: 4
- 资源: 8
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 机械设计硅钢片自动压装熔接机stp全套设计资料100%好用.zip.zip
- 基于springboot的人才公寓管理系统源码(java毕业设计完整源码).zip
- 基于springboot的亿时网上书店系统源码(java毕业设计完整源码).zip
- 基于springboot的仁和机构的体检预约系统的设计与实现源码(java毕业设计完整源码).zip
- 机械设计桁架自动化定子上下料设备sw16可编辑全套设计资料100%好用.zip.zip
- 基于springboot的仓库管理系统源码(java毕业设计完整源码).zip
- 基于springboot的付费自习室管理系统源码(java毕业设计完整源码).zip
- 机械设计混凝土搅拌站砖厂用砂筛机带式输送机sw20可编辑全套设计资料100%好用.zip.zip
- 基于springboot的企业员工薪酬管理系统源码(java毕业设计完整源码).zip
- 基于springboot的企业客源关系管理系统的设计与实现源码(java毕业设计完整源码).zip
- 基于springboot的企业档案管理信息系统的设计与实现源码(java毕业设计完整源码+LW).zip
- 基于springboot的候鸟监测数据管理系统源码(java毕业设计完整源码).zip
- 基于springboot的公寓出租系统的设计与实现源码(java毕业设计完整源码).zip
- 机械设计环形光学胶检测机sw21全套设计资料100%好用.zip.zip
- 机械设计货车底板支架焊接线sw16可编辑全套设计资料100%好用.zip.zip
- 基于springboot的兰州市出租车服务管理系统源码(java毕业设计完整源码).zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功