机
器
学
习中
的
范
数
规
则
化
之
（
一
）
L0
、
L1
与
L2
范
数
博客的学习笔记，对一些要点进行摘录。规则化也有其他
名称，比如统计学术中比较多的叫做增加惩罚项；还有现在比较多的正则化。
————————————————————————————————————————————
一
、
正
则
化
背
景
监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则
化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，
而规则化参数是防止我们的模型过分拟合我们的训练数据。
问题背景：参数太多，会导致我们的模型复杂度上升，容易过拟合。
作用：
1、约束参数，降低模型复杂度。
2、规则项的使用还可以约束我们的模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当
中，强行地让学习到的模型具有人想要的特性，例如稀疏、低秩、平滑等等。
————————————————————————————————————————————
二
、
目
标
函
数
一般来说，监督学习可以看做最小化下面的目标函数：
其中，第一项L(yi,f(xi;w)) 就是误差平方和；第二项则为惩罚项，对参数w的规
则化函数Ω(w)去约束我们的模型尽量的简单。
机器学习的大部分带参模型都和这个不但形似，而且神似。是的，其实大部分无非就是变换这
两项而已。
1、第一项-Loss函数
如果是Square loss，那就是最小二乘了；
如果是Hinge Loss，那就是著名的SVM了；
无声远望
- 粉丝: 14
- 资源: 298
评论0