# Keras RAdam
[![Travis](https://travis-ci.org/CyberZHG/keras-radam.svg)](https://travis-ci.org/CyberZHG/keras-radam)
[![Coverage](https://coveralls.io/repos/github/CyberZHG/keras-radam/badge.svg?branch=master)](https://coveralls.io/github/CyberZHG/keras-radam)
[![Version](https://img.shields.io/pypi/v/keras-rectified-adam.svg)](https://pypi.org/project/keras-rectified-adam/)
![Downloads](https://img.shields.io/pypi/dm/keras-rectified-adam.svg)
![License](https://img.shields.io/pypi/l/keras-rectified-adam.svg)
![](https://img.shields.io/badge/keras-tensorflow-blue.svg)
![](https://img.shields.io/badge/keras-theano-blue.svg)
![](https://img.shields.io/badge/keras-tf.keras-blue.svg)
![](https://img.shields.io/badge/keras-tf.keras/eager-blue.svg)
![](https://img.shields.io/badge/keras-tf.keras/2.0_beta-blue.svg)
\[[中文](https://github.com/CyberZHG/keras-radam/blob/master/README.zh-CN.md)|[English](https://github.com/CyberZHG/keras-radam/blob/master/README.md)\]
Unofficial implementation of [RAdam](https://arxiv.org/pdf/1908.03265v1.pdf) in Keras and TensorFlow.
## Install
```bash
pip install keras-rectified-adam
```
## Usage
```python
import keras
import numpy as np
from keras_radam import RAdam
# Build toy model with RAdam optimizer
model = keras.models.Sequential()
model.add(keras.layers.Dense(input_shape=(17,), units=3))
model.compile(RAdam(), loss='mse')
# Generate toy data
x = np.random.standard_normal((4096 * 30, 17))
w = np.random.standard_normal((17, 3))
y = np.dot(x, w)
# Fit
model.fit(x, y, epochs=5)
```
### TensorFlow without Keras
```python
from keras_radam.training import RAdamOptimizer
RAdamOptimizer(learning_rate=1e-3)
```
### Use Warmup
```python
from keras_radam import RAdam
RAdam(total_steps=10000, warmup_proportion=0.1, min_lr=1e-5)
```
## Q & A
### About Correctness
The optimizer produces similar losses and weights to the official optimizer after 500 steps.
### Use `tf.keras` or `tf-2.0`
Add `TF_KERAS=1` to environment variables to use `tensorflow.python.keras`.
### Use `theano` Backend
Add `KERAS_BACKEND=theano` to environment variables to enable `theano` backend.
没有合适的资源?快使用搜索试试~ 我知道了~
tensorflow-radam-0.10.0.tar.gz
0 下载量 131 浏览量
2024-03-21
12:49:40
上传
评论
收藏 11KB GZ 举报
温馨提示
共22个文件
py:11个
txt:5个
md:2个
Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
资源推荐
资源详情
资源评论
收起资源包目录
tensorflow-radam-0.10.0.tar.gz (22个子文件)
tensorflow-radam-0.10.0
tensorflow_radam.egg-info
SOURCES.txt 492B
top_level.txt 18B
PKG-INFO 3KB
requires.txt 12B
dependency_links.txt 1B
setup.py 884B
PKG-INFO 3KB
tests
__init__.py 0B
test_optimizers.py 5KB
official.py 3KB
test_similar.py 2KB
keras_radam
__init__.py 25B
optimizers.py 6KB
training.py 12KB
backend.py 1KB
optimizer_v2.py 10KB
selection.py 142B
CHANGELOG.md 65B
requirements.txt 12B
MANIFEST.in 88B
setup.cfg 38B
README.md 2KB
共 22 条
- 1
资源评论
程序员Chino的日记
- 粉丝: 2913
- 资源: 4万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功