岭回归与LASSO方法原理
【参考资料】
机器学习十大经典算法之岭回归和LASSO回归(学习笔记整理)
机器学习方法:回归(二):稀疏与正则约束ridge regression,Lasso
【机器学习】正则化的线性回归 —— 岭回归与Lasso回归
1. 问题引入
线性回归模型的参数估计公式是:
如果特征矩阵 的列向量(即特征)之间存在较大的相关性,那么 会趋近于0,使得 对角线上的值
很大,从而使得回归系数 趋于无穷大,此时我们得到的 是没有意义的。这种特征之间的相关性又被称为多重共线
性。另外,如果自变量个数多于样本数量,那么线性回归的结果也是很差的。
为了解决自变量之间存在多重共线性或者自变量个数多于样本量的情况,就要使用所谓的shrinkage method,例如
岭回归(ridge regression)或者LASSO。这些方法的实质是给原模型的参数加上正则化,限制参数的变化范围,从
而减少模型的方差。
2. 岭回归
线性回归模型的目标函数是
在此基础上,岭回归加入了对参数的 正则
其中 。
此时模型的解发生了改变,有
令 ,有
评论0