Deep learning Pytorch 2002-2

过拟合、欠拟合及其解决方案 L2范数惩罚项通过惩罚绝对值较大的参数的方法来应对过拟合的 L2正则化是在目标函数中直接加上一个正则项，直接修改了我们的优化目标。权值衰减是在训练的每一步结束的时候，对网络中的参数值直接裁剪一定的比例，优化目标的式子是不变的。在使用朴素的梯度下降法时二者是同一个东西，因为此时L2正则化的正则项对梯度的影响就是每次使得权值衰减一定的比例。但是在使用一些其他优化方法的时候，就不一样了。比如说使用Adam方法时，每个参数的学习率会随着时间变化。这时如果使用L2正则化，正则项的效果也会随之变化；而如果使用权值衰减，那就与当前的学习率无关了，每次衰减的比例是固定的。L2正则化