17.4.14（线性回归的梯度下降算法和正规方程）1
需积分: 0 172 浏览量
2022-08-04
16:53:40
上传
评论
收藏 154KB PDF 举报
17.4.14（线性回归的梯度下降算法和正规方程）
1. 梯度下降算法：
a. theta = theta - (alpha/m)*[sum((X*theta)-y),sum((X*theta)-y)*X(:,2)]'
b. 由于[sum((X*theta)-y),sum((X*theta)-y)*X(:,2)]'=X'*(X*theta-y) 假设函数求出来的Y矩阵与X矩阵的
转置矩阵相乘，矩阵乘法，行与列对应相乘并相加。
2. 特征和多项式回归（Features and Polynomial Regression）：有的时候某些有关系的特征可以联系起来用一个特征计算。实际
的拟合函数需要用到二次或三次，乃至更高次时，就会用到多项式回归，让你的算法更贴合实际。这种情况下特征缩放是必不可少
的。
3.正规方程（Normal Equation）：
正规方程是解析式计算，MATLAB中方程写为：theta = pinv（X'*X）*X‘*y。但是对于那些不可逆的矩阵，正规方程是不可用的。
矩阵不可逆一般有两种情况：
1.冗余的特征，即两种特征之间存在某种线性关系
2.特征的量太大导致正规方程的时间复杂度太大
评论0