没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
1.什么是过拟合
2.降低过拟合的办法
2.1正则化
2.2随机失活(Dropout)
2.3逐层/批归一化(batchnormalization)
2.4提前终止(earlystopping)
2.5数据集扩增(dataaugmentation)
1.什么是过拟合
随着训练过程的进行,模型复杂度增加,在训练集上的error逐渐减小,在验证集上
的error逐渐增大——因为训练出来的网络过拟合了训练集,导致泛化性能差。
传统的函数拟合问题,一般是通过物理数学等推导出的一个含参数的模型(数学建
模),模型复杂度是确定的,没有多余的能力拟合噪声。而机器学习算法的复杂度更高,
一般都远高于具体问题的复杂度,数据量不足以支撑庞大的模型/参数。
有一个概念需要先说明,在机器学习算法中,我们常常将原始数据集分为三部分:training
data、validationdata,testingdata。这个validationdata是什么?它其实就是用来避免过拟
合的,在训练过程中,我们通常用它来确定一些超参数(比如根据validationdata上的accuracy
来确定earlystopping的epoch大小、根据validationdata确定learningrate等等)。那为啥不
直接在testingdata上做这些呢?因为如果在testingdata做这些,那么随着训练的进行,我们的
网络实际上就是在一点一点地overfitting我们的testingdata,导致最后得到的testingaccuracy
没有任何参考意义。因此,trainingdata的作用是计算梯度更新权重,validationdata如上所
述,testingdata则给出一个accuracy以判断网络的好坏。
2.降低过拟合的办法
2.1正则化
L2
正
则
化
:目标函数中增加所有权重w参数的平方之和,逼迫所有w尽可能趋向零但不为
零。因为过拟合的时候,拟合函数需要顾忌每一个点,最终形成的拟合函数波动很大,在
某些很小的区间里,函数值的变化很剧烈,也就是某些w非常大。为此,L2正则化的加入
就惩罚了权重变大的趋势。
阿葱的葱白
- 粉丝: 26
- 资源: 313
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0