从Adam切换到SGD
表明：“即使在自适应解决方案具有更好的训练性能的情况下，通过自适应方法发现的解决方案的普遍性也比SGD差（通常显着更差）。这些结果表明，从业者应该重新考虑使用自适应方法来训练神经网络。 ”
“来自的SWATS，这是ICLR在2018年获得的高分论文，该方法被提议自动从Adam切换到SGD，以获得更好的泛化性能。该算法本身的想法非常简单。它使用Adam，尽管调整得很少，但学习到一定阶段后，由SGD接管。 ”
用法
直接从此git存储库或从pypi使用以下任一命令从pip即可直接安装软件包。
pip install git+https://github.com/Mrpatekful/swats
pip install pytorch-swats
安装后，可以将SWATS用作任何其他torch.optim.Optimizer 。 以下代码段简要介绍了如何使用该算
