岭回归与Lasso回归的出现是为了解决线性回归出现的
过
拟
合
以及在
通过正规方程方法求解θ的过程中出现的x转置乘以x不可逆这两类问题
的，这两种回归均通过在损失函数中
引
入
正
则
化
项
来达到目的，具体三
者的损失函数对比见下图：
其中λ称为正则化参数，如果λ选取过大，会把所有参数θ均最小
化，造成欠拟合，如果λ选取过小，会导致对过拟合问题解决不当，因
此λ的选取是一个技术活。
岭回归与Lasso回归最大的区别在于岭回归引入的是L2范数惩罚项，
Lasso回归引入的是L1范数惩罚项，Lasso回归能够使得损失函数中的许
多θ均变成0，这点要优于岭回归，因为岭回归是要所有的θ均存在
的，这样计算量Lasso回归将远远小于岭回归。
从概念上讲，我们可以说，Lasso回归（L1）同时做变量选择和参数
收缩，而ridge回归只做参数收缩，并最终在模型中包含所有的系数。
在有相关变量时，ridge回归可能是首选。此外，ridge回归在用最小二
乘估计有更高的偏差的情况下效果最好。因此，选择合适的模型取决于
我们的模型的目标。
评论0