游侠21
护林员深度学习优化器重写为使用最新组件
具有Radam + Lookahead核心的Ranger现在已有1.5年的历史了。 在此期间，发生了许多新的发展，包括“视觉变形金刚”的兴起。
因此，Ranger21（与2021年一样）是重写的，其中计划添加以下组件。 想法是这些内部参数将被参数化，以便您可以混合和匹配以优化各自数据集上的优化器。
沙tus：4/5-添加了稳定的重量衰减。 快速测试显示ImageNet子集具有1e-4权重衰减的良好结果。
计划中的当前功能集：1-代替RAdam的线性和指数预热。 这是基于的发现
2-MadGrad核心引擎代替了Adam内部。 这是基于我对Vision Transformers的测试以及引人注目的MadGrad论文： ：//arxiv.org/abs/2101.11075v1
3-稳定的重量衰减，而不是AdamW样式或Adam样式：
