没有合适的资源?快使用搜索试试~ 我知道了~
DeepLearning深度学习教程_第十四章_超参数调整.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 164 浏览量
2023-08-23
21:13:31
上传
评论
收藏 1.27MB PDF 举报
温馨提示
试读
19页
DeepLearning 深度学习 经验总结
资源推荐
资源详情
资源评论
DeepLearning
第⼗四章第⼗四章 超参数调整超参数调整
DeepLearning
DeepLearning
1
2
2
2
2
3
3
4
4
4
5
5
10
10
10
11
11
11
11
12
12
12
13
13
14
15
16
17
⽬录
14 .1 写在前⾯写在前⾯
14 .2 超参数概念超参数概念
14.2.1 什么是超参数,参数和超参数的区别?
14.2.2 神经⽹络中包含哪些超参数?
14.2.3 为什么要进⾏超参数调优?
14.2.4 超参数的重要性顺序
14.2.5 部分超参数如何影响模型性能?
14.2.6 部分超参数合适的范围
14 .3 ⽹络训练中的超参调整策略⽹络训练中的超参调整策略
14.3.1 如何调试模型?
14.3.2 为什么要做学习率调整?
14.3.3 学习率调整策略有哪些?
14.3.4 极端批样本数量下,如何训练⽹络?
14 .4 合理使⽤预训练⽹络合理使⽤预训练⽹络
14.4.1 什么是微调(fine- tune)
14.4.2 微调有哪些不同⽅法?
14.4.3 微调先冻结底层,训练顶层的原因?
14.4.4 不同的数据集特性下如何微调?
14.4.4 ⽬标检测中使⽤预训练模型的优劣?
14.4.5 ⽬标检测中如何从零开始训练(train from scratch)?
14 .5 如何改善如何改善 GAN 的性能的性能
14 .6 Aut oML
14.6.1 什么是AutoML?
14.6.2 ⾃动化超参数搜索⽅法有哪些?
14.6.3 什么是神经⽹络架构搜索(NAS)
14.6.4 NASNet的设计策略
14.6.5 ⽹络设计中,为什么卷积核设计尺⼨都是奇数
14.6.6 ⽹络设计中,权重共享的形式有哪些,为什么要权重共享
DeepLearning
14.1 写在前⾯
14.2 超参数概念
14.2.1 什么是超参数,参数和超参数的区别?
14.2.2 神经⽹络中包含哪些超参数?
14.2.3 为什么要进⾏超参数调优?
14.2.4 超参数的重要性顺序
14.2.5 部分超参数如何影响模型性能?
14.2.6 部分超参数合适的范围
14.3 ⽹络训练中的超参调整策略
14.3.1 如何调试模型?
14.3.2 为什么要做学习率调整?
14.3.3 学习率调整策略有哪些?
14.3.4 极端批样本数量下,如何训练⽹络?
14.4 合理使⽤预训练⽹络
14.4.1 什么是微调(f ine-t une)
14.4.2 微调有哪些不同⽅法?
14.4.3 微调先冻结底层,训练顶层的原因?
14.4.4 不同的数据集特性下如何微调?
14.4.4 ⽬标检测中使⽤预训练模型的优劣?
14.4.5 ⽬标检测中如何从零开始训练(t rain from scrat ch)?
14.5 如何改善 GAN 的性能
14.6 AutoML
14.6.1 什么是Aut oML?
14.6.2 ⾃动化超参数搜索⽅法有哪些?
14.6.3 什么是神经⽹络架构搜索(NAS)
14.6.4 NASNet 的设计策略
14.6.5 ⽹络设计中,为什么卷积核设计尺⼨都是奇数
14.6.6 ⽹络设计中,权重共享的形式有哪些,为什么要权重共享
# 第⼗四章 超参数调整
Markdown Revision 1;
Date: 2018/10/25
Edito r: 乔成磊- 同济⼤学,王超锋
Contact: qchl0318@163.com,syusuke0516@163.com
Updater: sjsdf g,王超锋
14.1 写在前⾯
关于训练深度学习模型最难的事情之⼀是你要处理的参数的数量。⽆论是从⽹络本⾝的层宽(宽度)、层数(深度)、连接
⽅式,还是损失函数的超参数设计和调试,亦或者是学习率、批样本数量、优化器参数等等。这些⼤量的参数都会有⽹络模
型最终的有效容限直接或者间接的影响。⾯对如此众多的参数,如果我们要⼀⼀对其优化调整,所需的⽆论是时间、资源都
是不切实际。结果证实⼀些超参数⽐其它的更为重要,因此认识各个超参数的作⽤和其可能会造成的影响是深度学习训练中
必不可少的⼀项重要技能。
超参数调整可以说是深度学习中理论和实际联系最重要的⼀个环节。⽬前,深度学习仍存在很多不可解释的部分,如何设计
优化出好的⽹络可以为深度学习理论的探索提供重要的⽀持。超参数调整⼀般分为⼿动调整和⾃动优化超参数两种。读者可
先浏览思维导图,本章节不会过多阐述所有超参数的详细原理,如果需要了解这部分,您可以翻阅前⾯的基础章节或者查阅
相关⽂献资料。当然,下⾯会讲到的⼀些超参数优化的建议是根据笔者们的实践以及部分⽂献资料得到认知建议,并不是⾮
常严格且⼀定有效的,很多研究者可能会很不同意某些的观点或有着不同的直觉,这都是可保留讨论的,因为这很依赖于数
据本⾝情况。
14.1 写在前⾯
1/17
DeepLearning
14.2 超参数概念
14.2.1 什么是超参数,参数和超参数的区别?
区分两者最⼤的⼀点就是是否通过数据来进⾏调整,模型参数通常是有数据来驱动调整,超参数则不需要数据来驱动,⽽是
在训练前或者训练中⼈为的进⾏调整的参数。例如卷积核的具体核参数就是指模型参数,这是有数据驱动的。⽽学习率则是
⼈为来进⾏调整的超参数。这⾥需要注意的是,通常情况下卷积核数量、卷积核尺⼨这些也是超参数,注意与卷积核的核参
数区分。
14.2.2 神经⽹络中包含哪些超参数?
通常可以将超参数分为三类:⽹络参数、优化参数、正则化参数。
⽹络参数:可指⽹络层与层之间的交互⽅式(相加、相乘或者串接等)、卷积核数量和卷积核尺⼨、⽹络层数(也称深度)
和激活函数等。
优化参数:⼀般指学习率(learning rat e)、批样本数量(batch size)、不同优化器的参数以及部分损失函数的可调参
数。
正则化:权重衰减系数,丢弃⽐率(dropout)
14.2.3 为什么要进⾏超参数调优?
本质上,这是模型优化寻找最优解和正则项之间的关系。⽹络模型优化调整的⽬的是为了寻找到全局最优解(或者相⽐更好
的局部最优解),⽽正则项⼜希望模型尽量拟合到最优。两者通常情况下,存在⼀定的对⽴,但两者的⽬标是⼀致的,即最
14.2 超参数概念
2/17
剩余18页未读,继续阅读
资源评论
安全方案
- 粉丝: 1241
- 资源: 4008
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功