# 一些关于机器学习优化函数的练习
* p1: 最基本的梯度下降法:gradient descent
* p2: 原始 SGD方法:stochastic gradient descent
* p3: minibatch-SGD方法
* p4 momentum SGD: minibatch-SGD with momentum
* p4 momentum: momentum with SGD
* p5: Nesterov方法
* p6: adagrad
* p7: adadelta
* p8: adam
#### 参考
p1 参考 https://zhuanlan.zhihu.com/p/27297638
p2~pn 参考 http://ruder.io/optimizing-gradient-descent/index.html
###### 单独参考
p5 参考 http://cs231n.github.io/neural-networks-3/
p6 参考 https://zhuanlan.zhihu.com/p/22252270
p7 参考 https://arxiv.org/abs/1212.5701 (原始论文)
p8 参考 http://www.ijiandao.com/2b/baijia/63540.html
没有合适的资源?快使用搜索试试~ 我知道了~
深度学习常用优化方法详解
共12个文件
py:10个
md:1个
gitignore:1个
需积分: 2 0 下载量 161 浏览量
2024-04-06
15:30:20
上传
评论
收藏 19KB ZIP 举报
温馨提示
深度学习模型的训练过程中,优化算法是至关重要的一环。常见的深度学习优化方法包括以下几种: 1. 随机梯度下降(SGD): SGD是最基础的优化方法,每次迭代使用一个小批量样本计算梯度,并沿着梯度负方向更新参数。相比全批量梯度下降,SGD可以更快地收敛,特别适合处理大规模数据。 2. 动量法(Momentum): 动量法在SGD的基础上引入了动量项,可以加快收敛速度并减少震荡。动量法记录了之前梯度的指数加权平均,使得优化方向更加稳定和平滑。 3. Adagrad: Adagrad自适应地调整每个参数的学习率。对于稀疏梯度,如自然语言处理中的词向量,Adagrad能够较好地处理。但随着迭代次数增加,学习率可能会过小而影响收敛。 4. RMSProp: RMSProp是Adagrad的改进版本,它使用了指数加权平均来累积梯度的平方,从而动态调整每个参数的学习率。相比Adagrad,RMSProp在训练后期的表现更好。 5. Adam: Adam结合了动量法和RMSProp的思想,在计算参数更新时同时使用了一阶矩(梯度的指数加权平均)和二阶矩
资源推荐
资源详情
资源评论
收起资源包目录
mlbasic-master.zip (12个子文件)
mlbasic-master
p7 adadelta.py 4KB
p4 momentum SGD.py 4KB
readme.md 688B
p2 origin SGD.py 3KB
p0.py 728B
p5 Nesterov momentum.py 3KB
p1 gradient descent.py 3KB
p6 adagrad.py 3KB
.gitignore 2KB
p8 adam.py 4KB
p4 momentum.py 3KB
p3 minibatch SGD.py 4KB
共 12 条
- 1
资源评论
进击的代码家
- 粉丝: 2203
- 资源: 204
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- rainy-day.jpg
- IMG_20240501_171218.jpg
- Swift-内购封装swift版本
- 经典CNN网络之ResNet 图像分类网络实战项目:7种小麦叶片病害分类(迁移学习)
- Java毕设之ssm010基于ssm的新能源汽车在线租赁管理系统+vue.rar
- Java毕设之ssm009毕业生就业信息统计系统+vue.rar
- Java毕设之ssm008医院门诊挂号系统+jsp.rar
- Java毕设之ssm007亚盛汽车配件销售业绩管理统+jsp.rar
- Java毕设之ssm006基于java的少儿编程网上报名系统+vue.rar
- Java毕设之ssm005基于SSM框架的购物商城系统+jsp.rar
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功