sps:随机Polyak步长优化器的官方代码

SPS-随机波拉克步长 被AISTATS 2021接受 使用SPS优化器快速收敛。 用于SGD的经典Polyak步长大小的第一个有效随机变量 1.安装 pip install git+https://github.com/IssamLaradji/sps.git 2.用法 通过添加以下脚本，在代码中使用Sps 。 import sps opt = sps . Sps ( model . parameters ()) for epoch in range ( 100 ): for X , y in loader : # create loss closure def closure (): loss = torch . nn . MSELoss ()( model ( X ), y ) loss . back