岭回归与Lasso回归的出现是为了解决线性回归出现的
过
拟
合
以及在
通过正规方程方法求解θ的过程中出现的x转置乘以x不可逆这两类问题
的,这两种回归均通过在损失函数中
引
入
正
则
化
项
来达到目的,具体三
者的损失函数对比见下图:
其中λ称为正则化参数,如果λ选取过大,会把所有参数θ均最小
化,造成欠拟合,如果λ选取过小,会导致对过拟合问题解决不当,因
此λ的选取是一个技术活。
岭回归与Lasso回归最大的区别在于岭回归引入的是L2范数惩罚项,
Lasso回归引入的是L1范数惩罚项,Lasso回归能够使得损失函数中的许
多θ均变成0,这点要优于岭回归,因为岭回归是要所有的θ均存在
的,这样计算量Lasso回归将远远小于岭回归。
从概念上讲,我们可以说,Lasso回归(L1)同时做变量选择和参数
收缩,而ridge回归只做参数收缩,并最终在模型中包含所有的系数。
在有相关变量时,ridge回归可能是首选。此外,ridge回归在用最小二
乘估计有更高的偏差的情况下效果最好。因此,选择合适的模型取决于
我们的模型的目标。
评论0