chap-网络正则化与优化1
需积分: 0 171 浏览量
2022-08-03
20:43:43
上传
评论
收藏 366KB PDF 举报
第六章 网络正则化与优化
因为深度神经网络的表达能力很强，所以很容易产生过拟合。另外，大量
的参数会导致训练比较慢。在训练深度神经网络时，同时也需要掌握一定的技
巧。目前，人们在大量的实践中总结了一些经验技巧，可以从以下几个方面来
提高学习效率并得到一个好的网络模型：1）数据增强；2）数据预处理；3）网
络参数初始化；4）正则化；5）超参数优化等。
6.1 数据增强
深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数
据量有限的情况下，可以通过数据增强（Data Augmentation）来增加数据量，
提高模型鲁棒性，避免过拟合。目前，数据增强还主要应用在图像数据上，在
文本等其它类型的数据还没有太好的方法。
图像数据的增强主要是通过算法对图像进行转变，引入噪声等方法来增加
数据的多样性。增强的方法主要有几种：
• 旋转（Rotation）：将图像按顺时针或逆时针方向随机旋转一定角度；
• 翻转（Flip）：将图像沿水平或垂直方法随机翻转一定角度；
• 缩放（Zoom In/Out）：将图像放大或缩小一定比例；
• 平移（Shift）：将图像沿水平或垂直方法平移一定步长；
• 加噪声（Noise）：加入随机噪声。
剩余10页未读，继续阅读
评论0