斯坦福大学机器学习课程个人笔记完整版

5星(超过95%的资源)
所需积分/C币:0 2017-09-04 14:46:54 11.40MB PDF
55
收藏 收藏
举报

斯坦福大学机器学习课程个人笔记完整版.pdf 目录 (1)线性回归、logistic回归和一般回归 1 (2)判别模型、生成模型与朴素贝叶斯方法 10 (3)支持向量机SVM(上) 20 (4)支持向量机SVM(下) 32 (5)规则化和模型选择 45 (6)K-means聚类算法 50 (7)混合高斯模型和EM算法 53 (8)EM算法 55 (9)在线学习 62 (10)主成分分析 65 (11)独立成分分析 80 (12)线性判别分析 91 (13)因子分析 103 (14)增强学习 114 (15)典型关联分析 120 (16)偏最小二乘法回归 129
15)典型关联分析120 (16)偏最小二乘法回归129 这里面的内容是我在2011年上半年学习斯坦福大学《机器学习》课 程的个人学习笔记,内容主要来自 Andrew Ng教授的讲义和学习视 频 另外也包含来自其他论文和其他学校讲文的一些内容。每章内容主 要按照个人学习时的思路总结得到 由于是个人笔记,里面表述错误、公式错误、理解错误、笔误都会 存在。更重要的是我是初学者,千万不要认为里面的思路都正确。 如果有疑问的地方,请第一时间参考 Andrew ng教授的讲义原文和 视频,再有疑问的地方可以找一些大牛问问。 博客上很多网友提岀的问题,我难以回答,因为我水平确实有限, 更深层次的内容最好找相关大牛咨询和相关论文研读。 如果有网友想在我这个版本基础上再添加自己的笔记,可以发送 Emai给我,我提供原始的 word docx版本。 另,本人目前在科苑软件所读研,马上三年了,方向是分布式计 算,主要偏大数据分布式处理,平时主要玩 Hadoop、Pig、Hive Mahout、 NOSQLI啥的, 关注系统方面和数据库方面的会议。希望大家多多交流,以后会往 博客上放这些内容,机器学习会放的少了 Anyway,祝大家学习进步、事业成功! 对回归方法的认识 rrylea csxuliie@gmail.com 2011年2月27日 1摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四 节主要讲述∫回归问题,属于有监督学习中的一种方法。该方法的核心思想是从离散的统计 数据中得到数学模型,然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维 的。 讲义最初介绍了一个基本问题,然后引出了线性回归的解决方法,然后针对误差问题做 了概率解释 2问题引入 假设有一个房屋销售的数据如下: 面积m^2)销售价钱(万元) 123 250 150 320 87 160 102 220 这个表类似于北京5环左右的房屋价钱,我们可以做出一个图,x轴是房屋的面积。y轴是 房屋的售价,如下: 如果来了一个新的面积,假设在销售价饯的记录中没有的,我们怎么小呢? 我们可以用·条曲线去尽量准的拟合这些数据,然后如果有新的输入过来,我们可以在 将曲线上这个点对应的值返回。如果用一条直线去拟合,可能是下面的样子: 绿色的点就是我们想要预测的点。 首先给出一些概念和常用的符号。 房屋销售记录表:训练集( training set)或者训练数据( (training data),是我们流稈中的输入数据, 般称为x 房屋销售价钱:输出数据,一般称为y 拟合的函数(或者称为假设或者模型):一般写做y=hx) 训练数据的条目数(壯 training set);:条训练数据是由对输入数据和输出数据组成的输入 数据的维度n(特征的个数,# features 这个例」的特征是两维的,结果是一维的。然而回归方法能够解决特征多维,结果是一维多 离散值或一维连续值的问题 3学习过程 卜面是一个典型的机器学丬的过程,首先给出一个输入数据,我们的算法会通过一系的过 程得到一个估计的函数,这个函数有能丿对没有见过的新数据给出一个新的估计,也被称为 构建·个模型。就如同上面的线性回归函数。 输入数据 机器学习方法 新数据一)估计函数h一→新估计 4线性回归 线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大,每个特征 对结果的影响强弱可以有前面的参数体现,而且每个特征变量可以首先映射到一个函数,然 后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。 我们用X1,X2.Xn去描述 feature里面的分量,比如x1=房间的面积,x2=房间的朝向, 等等,我们可以做出一个估计函数: h(x)=h2(x)=6+6x1+02 θ在这儿称为参数,在这的意思是调整 feature中每个分量的影响力,就是到底是房屋的面 积史重要还是房屋的地段史重要。为了如果我们令X0=1,就可以用向量的方式来表小∫: he(x)=8x 我们程序也需婁一个机制去评估我们θ是否比较好,所以说需要对我们做出的h函数进行 评估,一般这个函数称为损失函数( loss function)或者错误函数( error function),描述h函 数不好的程度,在下面,我们称这个函数为」函数 在这儿我们可以做出下面的一个错误函数 (O)=∑(h(x")-y”)2 min 这个错误估计函数是去对x()的估计值与真实值y()差的平方和作为错误估计函数,前面乘 上的1/2是为了在求导的时候,这个系数就不见了。 至于为何选择平方和作为错误估计函数,讲义后面从概率分布的角度讲解了该公式的米源。 如何调整θ以使得」(θ)取得最小值有很多方法,其中有最小二乘法( mIn square),是·种完全 是数学描述的方法,和梯度下降法。 5梯度下降法 在选定线性回归模型后,只需要桷定参数θ,就可以将模型用来预测。然而θ需要在」(θ) 最小的情况下才能确定。因此问题归结为求极小值问题,使用梯度下降法。梯度下降法最大 的问题是求得有可能是全局极小值,这与初始点的选取有关。 梯度下降法是按下面的流稈进行的 1)首先对θ赋值,这个值可以是随机的,也可以让θ是一个全零的向量。 2)改变θ的值,使得J(θ)按梯度下降的方向进行减少。 梯度方向由J(θ)对θ的偏导数确定,由于求的是极小值,因此梯度方向是偏导数的反方向。 结果为 0;:=6;+a(u(0-ha(x(0)x( 迭代更新的方式有两种,一种是批梯度下降,也就是对仝部的训练数据求得误差后再对θ 进行更新,弓外一种是増量梯度下降,每扫描一步都要对θ进行更新。前一种方法能够不断 收敛,后一种方法结果可能不断在收敛处徘徊 一般来说,梯度下降法收敛速度还是比较慢的。 另一种直接计算结果的方法是最小乘法。 6最小二乘法 将训练特征表示为X矩阵,结果表示成y向量,仍然是线性回归模型,误差函数不变。那么 6可以直接由下面公式得出 0=(XX)1X 但此方法要求Ⅹ是列满秩的,而且求矩阵的逆比较慢。 7选用误差函数为平方和的概率解释 假设根据特征的预测结果与实际结果有误差∈(,那么预测结果e7x①和真实结果y满足下 式: (3)+e 一股米讲,误差满足平均值为0的髙斯分布,也就是正态分布。那么x和y的条件概率也就 是 (y0-02x()2 ply 2丌a exp 20 这样就估计了一条样本的结果概率,然而我们期待的是模型能够在全鄙样本上预测最准,也 就是概率积最大。这个概率积成为最大似然估计。我们希望在最大似然估计得到最大值时确 定θ。那么需要对最大似然估计公式求导,求导结果既是 ∑(y i=1 这就解释了为何误差函数要使用平方和。 当然推导过程中也做了一些假定,但这个假定符合客观规律。 8带权重的线性回归 上面提到的线性回归的误差函数里系统都是1,没有权重。带权重的线性回归加入了权重信 基本假设是 1. Fit 0 to minimize Ewo(yo-0 r() 2. Output g 其中假设w符合公式 exp 2r2 其中ⅹ是要预测的特征,这样侵设的道理是离ⅹ越近的样本权重越大,越远的影响越小。这 个公式与高斯分布类似,但不一样,因为w①不是随机变量 此方法成为非参数学习算法,因为误差函数随着预测值的不同而不同,这样θ无法事先确定, 测一次需要临时计算,感觉类似KNN 9分类和对数回归 一般来说,回归不用在分类问题上,因为回归是连续型模型,而且受噪声影响比较大 如果非要应用进入,可以使用对数回归。 对数回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把 特征线性求和,然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1 对数回归的假设函数如下,线性回归假设函数只是7x h(x)=g(x)=12, 对数回归用来分类0/1问题,也就是预测结果属于0或者1的二值分类问题。这里假设 了二值满足伯努利分布,也就是 (y=1|x;6)=ha(x) 当然假设它满足泊松分布、指数分布等等也可以,只是比较复杂,后面会提到线性回归 的一般形式。 与第7节样,仍然求的是最大似然估计,然后求导,得到迭代公式结果为 03:=6+a(y0-h(x(0) 可以看到与线性回归类似,只是erx①换成了he(x(),而he(x()实际上就是e7x经过 g(2)射过来的 10牛顿法来解最大似然估计 第7和第9节使用的解最大似然估计的方法都是求导迭代的方法,这里介绍了牛顿下降 法,使结果能够快速的收敛。 当要求解f(θ)=0时,如果f可导,那么可以通过迭代公式 6:=b f(6 f(⊙) 来迭代求解最小值。 当应用于求解最大似然估计的最大值时,变成求解£()=0的问题 那么迭代公式写作 C"() :=6 C"(6 当θ是向量时,牛顿法可以使用卜面式子表示 0:=0-HVa(0 02C( H 006 其中 是n×n的 Hessian矩阵。 牛顿法收敛速度虽然很快,但求 Hessian矩阵的逆的时候比较耗费时间 当初始点Ⅻ0靠近极小值Ⅹ吋,牛顿法的收敛速度是最快的。但是当Ⅺ0远离极小值吋, 牛顿法可能不收敛,甚至连下降都侏证个」。原因是迭代点Xk+1不一定是目标函数f在牛 顿方向上的极小点 11一般线性模型 之所以在对数回归时使用 (2)= 1+e-z 的公式是由一套理论作支持的。 这个理论便是一般线性模型。 首先,如果一个概率分布可以表小成 p(y; n)=b(y)exp(nT(y)-a(n)) 6 时,那么这个概率分布可以称作是指数分布 伯努利分布,高斯分布,泊松分布,贝塔分布,狄特里特分布都属于指数分布。 在对数回归时采用的是伯努利分布,伯努利分布的概率可以表示成 p(v;o)=(1-)}- exp(y log o+(1-y) log(1-o)) exD (-(2)+-) 其中 7=log(/(1-) 得到 1+e 这就解释了对数回归时为了要用这个函数。 般线性棋型的要点是 1)yx;0满足一个以为参数的指数分布,那么可以求得n的表达式。 2)给定ⅹ,我们的目标是要确定T(y),大多数情况卜Tω=y,那么我们实际上要确 定的是h(x),而h(x)=Ey冈x]。(在对数回归中期望值是Φ,因此h是Φ;在线性同 归中期望值是μ,而高斯分布中n=μ,因此线性回归中h=6x)。 n 12 Softmax回归 最后举了一个利用一般线性模型的例子。 假设预测值y有k种可能,即y∈{1,2,…k} 比如k=3时,可以看作是要将一封未知邮件分为垃圾邮件、个人邮件还是工作邮件这 类 定义 那么 k p=1 这样 p(y=k;)=1-∑1中 即式子左边可以有其他的概率表示,因此可以当做是k-1维的问题。 Ty)这吋候·组k-1维的向量,不再是y。即T(y)要给出y=i(i从1到k-1)的概率

...展开详情
试读 127P 斯坦福大学机器学习课程个人笔记完整版
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
jyb271126848 非常非常满意
2017-10-16
回复
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
斯坦福大学机器学习课程个人笔记完整版 0积分/C币 立即下载
1/127
斯坦福大学机器学习课程个人笔记完整版第1页
斯坦福大学机器学习课程个人笔记完整版第2页
斯坦福大学机器学习课程个人笔记完整版第3页
斯坦福大学机器学习课程个人笔记完整版第4页
斯坦福大学机器学习课程个人笔记完整版第5页
斯坦福大学机器学习课程个人笔记完整版第6页
斯坦福大学机器学习课程个人笔记完整版第7页
斯坦福大学机器学习课程个人笔记完整版第8页
斯坦福大学机器学习课程个人笔记完整版第9页
斯坦福大学机器学习课程个人笔记完整版第10页
斯坦福大学机器学习课程个人笔记完整版第11页
斯坦福大学机器学习课程个人笔记完整版第12页
斯坦福大学机器学习课程个人笔记完整版第13页
斯坦福大学机器学习课程个人笔记完整版第14页
斯坦福大学机器学习课程个人笔记完整版第15页
斯坦福大学机器学习课程个人笔记完整版第16页
斯坦福大学机器学习课程个人笔记完整版第17页
斯坦福大学机器学习课程个人笔记完整版第18页
斯坦福大学机器学习课程个人笔记完整版第19页
斯坦福大学机器学习课程个人笔记完整版第20页

试读结束, 可继续阅读

0积分/C币 立即下载 >