psgd_tf:预条件随机梯度下降的Tensorflow实现

PSGD的Tensorflow实现 概述 PSGD（预处理随机梯度下降）是一种通用的二阶优化方法。 PSGD通过其固有的处理非凸性和梯度噪声的能力使其与大多数现有方法有所不同。 请参考的设计思想。 已存档。 此更新的实现适用于tf2.x，并且还大大简化了Kronecker产品预处理器的使用。 请首先尝试“ hello_psgd.py”，以查看它是否在您的配置中有效。 您还可以参考。 已实施的预处理器 通用预处理器 密集预处理器：此预处理器与经典的牛顿法有关。 稀疏LU分解预处理器：这类似于有限内存BFGS方法。 对角预处理器：这减少到。 该封闭形式的解决方案是可用的，并且其实现是微不足道的。 Kronecker产品预处理器 对于矩阵参数（对于机器学习，总是具有input_features @ matrix = output_features），我们可以在其梯度上具有左右前置条件。 详