Ranger21:护林员深度学习优化器重写为使用最新组件

游侠21 护林员深度学习优化器重写为使用最新组件 具有Radam + Lookahead核心的Ranger现在已有1.5年的历史了。 在此期间，发生了许多新的发展，包括“视觉变形金刚”的兴起。 因此，Ranger21（与2021年一样）是重写的，其中计划添加以下组件。 想法是这些内部参数将被参数化，以便您可以混合和匹配以优化各自数据集上的优化器。 沙tus：4/5-添加了稳定的重量衰减。 快速测试显示ImageNet子集具有1e-4权重衰减的良好结果。 计划中的当前功能集：1-代替RAdam的线性和指数预热。 这是基于的发现 2-MadGrad核心引擎代替了Adam内部。 这是基于我对Vision Transformers的测试以及引人注目的MadGrad论文： ：//arxiv.org/abs/2101.11075v1 3-稳定的重量衰减，而不是AdamW样式或Adam样式：