没有合适的资源?快使用搜索试试~ 我知道了~
keras_rectified_adam:在Keras中实施整流的Adam
共6个文件
py:2个
png:1个
license:1个
需积分: 13 1 下载量 155 浏览量
2021-03-10
02:49:37
上传
评论
收藏 486KB ZIP 举报
温馨提示
修正亚当为凯拉斯 修正Keras港口,摘自 修正的ADAM 上面的图片来自本文。 本文的众多贡献之一是,有预热的亚当往往比没有预热的亚当表现更好。 但是,当亚当在没有预热的情况下使用时,在初始迭代期间,梯度具有较大的方差。 这种较大的差异会导致最小值的过冲,从而导致较差的最优值。 另一方面,热身是在前几个时期以非常低的学习率进行训练的想法,以抵消这一较大的差异。 然而,预热的程度-应该使用多长时间和什么学习速率需要广泛的超参数搜索,这通常是昂贵的。 因此,整流ADAM提出了一种动态方差减少算法。 用法 将rectified_adam.py脚本添加到您的项目中,然后将其导入。 可以替代Adam Optimizer。 请注意,当前仅支持基本的整流亚当,不支持EMA缓冲变体,因为Keras在图形模式下无法索引当前时间步。 这可能会在Tensorflow 2.0急切执行模式下修复。 fr
资源推荐
资源详情
资源评论
收起资源包目录
keras_rectified_adam-master.zip (6个子文件)
keras_rectified_adam-master
.gitignore 1KB
images
rectified_adam.png 484KB
LICENSE 1KB
tf_rectified_adam.py 3KB
README.md 2KB
rectified_adam.py 10KB
共 6 条
- 1
资源评论
活着奔跑
- 粉丝: 39
- 资源: 4685
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- Python SOAP 客户端.zip
- Python ODBC 桥.zip
- Python MIDI 库.zip
- Python for DevOps repo 包含有用的 Python 脚本,可供您学习并在日常 DevOps 自动化任务中实施 .zip
- Python API 包装器和库列表.zip
- Python - 与我的 YouTube 频道相关的脚本存储在这里,可以用任何版本的 Python 编写.zip
- PyClass 课程计划.zip
- Puppet 模块用于安装和管理 Python、pip、virtualenvs 和 Gunicorn 虚拟主机 .zip
- jieshao123456
- Java 将本地mp4推流rtsp
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功