10_理清深度学习优化函数发展脉络1
需积分: 0 99 浏览量
2022-08-03
15:45:17
上传
评论
收藏 992KB PDF 举报
问
题
深
度
学
习
中
有
很
多
优
化
函
数
，
常
⻅
的
那
些
你
还
记
得
它
的
定
义
以
及
优
缺
点
吗
？
背
景
知
识
深
度
学
习
⽹
络
训
练
中
，
有
很
多
可
供
选
择
的
优
化
函
数
如
SGD
、
Adam
等等
，
到
底
⽤
哪
个
好
呢
？
其
实
这
个
问
题
没
有
确
切
的
答
案
，
优
化
函
数
是
需
要
配
合
损
失
函
数
使
⽤
的
，
说
⽩
了
，
优
化
函
数
也
是
⼀
种
超
参
数
，
是
需
要
尝
试
的
，
哪
个
效
果
好
就
⽤
哪
个
……
这
些
优
化
函
数
其
实
差
别
不
⼤
，
都
是
基
于
⼀个
基
本
框
架来
演
进
的
，
所
以
下
⾯
先
介
绍
下
优
化
算
法
的
基
本
框
架
：
１
、
优
化
算
法
基
本
框
架
（
记
住
这
个
框
架
！！！）
假
设
当
前
时
刻
待
优
化
的
参
数
为
，
损
失
函
数
为
，
学
习
率
为
，
参
数
更
新
的
框
架
为
：
1.
计
算
损
失
函
数
关
于
当
前
参
数
的
梯
度
：
2.
根
据
历
史
梯
度
计
算
⼀
阶
动
量
和
⼆
阶
动
量
：
即
⼀
阶
动
量
为
包
含
当
前
梯
度
在
内
的
历
史
梯
度
的
⼀
次
函
数
，
⽽
⼆
阶
动
量
是
历
史
梯
度
的
⼆
次
函
数
。
3.
计
算
当
前
时
刻
的
下
降
梯
度
：
4.
根
据
下
降
梯
度
更
新
参
数
：
２
、
指
数
加
权
移
动
平
均
值
SGD
只
计
算
当
前
梯
度
更
新
参
数
，
完
全
没
有
考
虑
历
史
梯
度
，
但
这
样
有
⼀个
问
题
是
假
如
当
前
参
数
处
在
损
失
函
数
的
局
部
最
低
点
处
，
即
梯
度
为
0
，
因
为
梯
度
为
0
，
所
以
参
数
不
再
更
新
，
也
就
是
说
不
管
你
之
前
历
史
梯
度
多
⼤
，
下
降
地
多
快
，
只
要
你
当
前
梯
度
为
0
，
那
就
只
能
停
在
这
⾥
，
也
就
意
味
着
冲
不
出
这
个
局
部
最
低
点
。
要解
决
这
个
问
题
就
需
要
将
历
史
梯
度
考
虑
进
来
，
但
是
这
⾥
⼜
有
⼀个
问
题
：
历
史
梯
度
那
么
多
，
全
部都
考
虑
吗
，
还
是
只
考
虑
⼀
部
分
？
其
实
我
们
只
要
考
虑
最
近
的
⼀
段
历
史
梯
度
即
可
，
这
段
历
史
梯
度
怎
么
截
就
⽤
到
了
指
数
加
权
移
动
平
均
值
的
概
念
。
假
设
是
时
刻
的
指
数
加
权
移
动
平
均
值
，
是
当
前
时
刻
的
观
测
值
，
那
么
时
刻
的
指
数
加
权
移
动
平
均
值
为
：
递
推
三山卡夫卡
- 粉丝: 16
- 资源: 323
最新资源
- pta题库答案c语言之排序4统计工龄.zip
- pta题库答案c语言之树结构7堆中的路径.zip
- pta题库答案c语言之树结构3TreeTraversalsAgain.zip
- pta题库答案c语言之树结构2ListLeaves.zip
- pta题库答案c语言之树结构1树的同构.zip
- 基于C++实现民航飞行与地图简易管理系统可执行程序+说明+详细注释.zip
- pta题库答案c语言之复杂度1最大子列和问题.zip
- 三维装箱问题（Three-Dimensional Bin Packing Problem,3D-BPP）是一个经典的组合优化问题
- 以下是一些关于Linux线程同步的基本概念和方法.txt
- 以下是一个简化的示例，它使用pygame库来模拟烟花动画的框架.txt
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0