AdamP:亚当

AdamP：降低比例不变权重的动量优化器的减慢速度（ICLR 2021） AdamP和SGDP优化器的PyTorch官方实施|| Byeongho许*，Sanghyuk春*，洪城俊哦，Dongyoon汉，尚道蕴，Gyuwan金，Youngjung嗯，正宇哈。 *表示相等的贡献 NAVER AI LAB，NAVER CLOVA 抽象的 规范化技术是现代深度学习的福音。它们使权重收敛更快，通常具有更好的泛化性能。有人认为，权重之间的归一化引起的尺度不变性为梯度下降（GD）优化器提供了有利的基础：有效步长会随时间自动减小，从而稳定了整个训练过程。然而，通常被忽视的是，在GD优化器中额外引入动量会导致比例不变权重的有效步长更快地减小，这种现象尚未得到研究，并且可能会导致不希望出现的副作用。目前的做法。这是一个至关重要的问题，因为可以说现代深度神经网络的绝大多数由（1）基于动量的GD（例如SGD或