第十四章_超参数调整1
需积分: 0 101 浏览量
2022-08-03
17:02:50
上传
评论
收藏 989KB PDF 举报
第
十
四
章
超
参
数
调
整
14.1 写在前面
14.2 超参数概念
14.2.1 什么是超参数，参数和超参数的区别？
14.2.2 神经网络中包含哪些超参数？
14.2.3 为什么要进行超参数调优？
14.2.4 超参数的重要性顺序
14.2.5 部分超参数如何影响模型性能？
14.2.6 部分超参数合适的范围
14.3 网络训练中的超参调整策略
14.3.1 如何调试模型？
14.3.2 为什么要做学习率调整?
14.3.3 学习率调整策略有哪些？
14.3.4 极端批样本数量下，如何训练网络？
14.4 合理使用预训练网络
14.4.1 什么是微调（ne-tune）
14.4.2 微调有哪些不同方法？
14.4.3 微调先冻结底层，训练顶层的原因？
14.4.4 不同的数据集特性下如何微调？
14.4.4 目标检测中使用预训练模型的优劣？
14.4.5 目标检测中如何从零开始训练(train from scratch)？
14.5 如何改善 GAN 的性能
14.6 AutoML
14.6.1 什么是AutoML？
14.6.2 自动化超参数搜索方法有哪些？
14.6.3 什么是神经网络架构搜索（NAS）
14.6.4 NASNet的设计策略
14.6.5 网络设计中，为什么卷积核设计尺寸都是奇数
14.6.6 网络设计中，权重共享的形式有哪些，为什么要权重共享
第十四章 超参数调整
Markdown Revision 1;
Date: 2018/10/25
Editor:
乔
成
磊
-
同
济
大
学
，
王
超
锋
Contact: qchl0318@163.com
，
syusuke0516@163.com
Updater: sjsdfg
，
王
超
锋
14.1
写
在
前
面
关于训练深度学习模型最难的事情之一是你要处理的参数的数量。无论是从网
络本身的层宽（宽度）、层数（深度）、连接方式，还是损失函数的超参数设计
和调试，亦或者是学习率、批样本数量、优化器参数等等。这些大量的参数都会
有网络模型最终的有效容限直接或者间接的影响。面对如此众多的参数，如果我
们要一一对其优化调整，所需的无论是时间、资源都是不切实际。结果证实一些
超参数比其它的更为重要，因此认识各个超参数的作用和其可能会造成的影响是
深度学习训练中必不可少的一项重要技能。
剩余18页未读，继续阅读
评论0