optimizers:实现在测试功能上运行的各种优化程序以进行优化

优化器 使用Python和数值库的各种优化算法的实现。 该存储库可作为本文中使用的可视化和评估的来源。 任务清单 动量的随机梯度下降（ ） AdaGrad（ ） AdaDelta（ D.Zeiler ） RMSProp（ ） 亚当（亚当（ ） NAdam（多扎特（ ）） AMSGrad（ ） 实作 在查看每种算法的完整源代码。 1.具有动量的随机梯度下降 def step ( self , x , y ): g_t = self . func . df ( x , y ) self . v = self . momentum * self . v + self . lr * g_t return ( x - self . v [ 0 ], y - self . v [ 1 ]) 2. AdaGrad def step ( self , x , y ):