没有合适的资源?快使用搜索试试~ 我知道了~
AdamP:亚当
共8个文件
py:4个
notice:1个
gitignore:1个
需积分: 50 2 下载量 106 浏览量
2021-03-18
20:19:43
上传
评论
收藏 8KB ZIP 举报
温馨提示
AdamP:降低比例不变权重的动量优化器的减慢速度(ICLR 2021) AdamP和SGDP优化器的PyTorch官方实施|| Byeongho许*,Sanghyuk春*,洪城俊哦,Dongyoon汉,尚道蕴,Gyuwan金,Youngjung嗯,正宇哈。 *表示相等的贡献 NAVER AI LAB,NAVER CLOVA 抽象的 规范化技术是现代深度学习的福音。它们使权重收敛更快,通常具有更好的泛化性能。有人认为,权重之间的归一化引起的尺度不变性为梯度下降(GD)优化器提供了有利的基础:有效步长会随时间自动减小,从而稳定了整个训练过程。然而,通常被忽视的是,在GD优化器中额外引入动量会导致比例不变权重的有效步长更快地减小,这种现象尚未得到研究,并且可能会导致不希望出现的副作用。目前的做法。这是一个至关重要的问题,因为可以说现代深度神经网络的绝大多数由(1)基于动量的GD(例如SGD或
资源推荐
资源详情
资源评论
收起资源包目录
AdamP-master.zip (8个子文件)
AdamP-master
adamp
sgdp.py 3KB
__init__.py 77B
adamp.py 3KB
NOTICE 3KB
LICENSE 1KB
setup.py 619B
.gitignore 58B
README.md 5KB
共 8 条
- 1
资源评论
张岱珅
- 粉丝: 50
- 资源: 4689
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功