第十四章_超参数调整1
需积分: 0 122 浏览量
2022-08-03
22:32:43
上传
评论
收藏 527KB PDF 举报
第十四章 超参数调整
Markdown Revision 1;
Date: 2018/10/25
Editor: 乔成磊-同济大学
Contact: [email protected]
Updater: sjsdfg，王超锋
14.1 写在前面
关于训练深度学习模型最难的事情之一是你要处理的参数的数量。无论是从网络本身的层宽（宽度）、层数
（深度）、连接方式，还是损失函数的超参数设计和调试，亦或者是学习率、批样本数量、优化器参数等等。这些
大量的参数都会有网络模型最终的有效容限直接或者间接的影响。面对如此众多的参数，如果我们要一一对其优化
调整，所需的无论是时间、资源都是不切实际。结果证实一些超参数比其它的更为重要，因此认识各个超参数的作
用和其可能会造成的影响是深度学习训练中必不可少的一项重要技能。
目前，超参数调整一般分为手动调整和自动优化超参数两种。本章节不会过多阐述所有超参数的详细原理，如果需
要了解这部分，您可以翻阅前面的基础章节或者查阅相关文献资料。当然，下面会讲到的一些超参数优化的建议是
根据笔者们的实践以及部分文献资料得到认知建议，并不是非常严格且一定有效的，很多研究者可能会很不同意某
些的观点或有着不同的直觉，这都是可保留讨论的，因为这很依赖于数据本身情况。
14.2 参数和超参数的区别
区分两者最大的一点就是是否通过数据来进行调整，模型参数通常是有数据来驱动调整，超参数则不需要数据来驱
动，而是在训练前或者训练中人为的进行调整的参数。例如卷积核的具体核参数就是指模型参数，这是有数据驱动
的。而学习率则是人为来进行调整的超参数。这里需要注意的是，通常情况下卷积核数量、卷积核尺寸这些也是超
参数，因为网络设计完以后，这些参数同样不是由数据驱动的，注意与卷积核的核参数区分。
14.2 神经网络中一般包含哪些超参数
通常可以将超参数分为三类：网络参数、优化参数、正则化参数。
网络参数：可指网络层与层之间的交互方式（相加、相乘或者串接等）、卷积核数量和卷积核尺寸、网络层数（也
称深度）和激活函数等。
优化参数：一般指学习率（learning rate）、批样本数量（batch size）、不同优化器的参数以及部分损失函数的
可调参数。
正则化：权重衰减系数，丢弃法比率（dropout）
14.3 模型优化寻找最优解和正则项之间的关系
网络模型优化调整的目的是为了寻找到全局最优解（或者相比更好的局部最优解），而正则项又希望模型尽量拟合
到最优。两者通常情况下，存在一定的对立，但两者的目标是一致的，即最小化期望风险。模型优化希望最小化经
验风险，而容易陷入过拟合，正则项用来约束模型复杂度。所以如何平衡两者之间的关系，得的最优或者较优的解
就是超参数调整优化的目的。
评论0