期权matlab代码-higher_order_invariance:“使用高阶不变性加速自然梯度”的代码

预算matlab代码利用高阶不变性加速自然梯度 该repo包含在瑞典斯德哥尔摩ICML 2018论文中再现结果所必需的代码。 ，，和，由Stanford AI Lab提供。 在这项工作中，我们建议使用中点积分器和测地校正来改善自然梯度优化的不变性。 借助我们的方法，我们能够获得用于深度神经网络训练的加速收敛，以及用于深度强化学习的更高样本效率。 依存关系 在Python 3和TensorFlow中实现了综合实验和深度强化学习实验。 深度神经网络训练实验在MATLAB 2015b进行了编码。 为了进行深度强化学习实验，用户需要获得的有效许可。 进行实验 不变性 我们可以观察到，对于可以精确求解ODE的简单目标，中点积分器和测地校正方法比香草自然梯度提供了更多的不变优化轨迹。 要重现本文中的图2，请运行 python synth/gamma_experiment.py 训练深度神经网络 在CURVES，MNIST和FACES数据集上训练深度自动编码器和分类器。 代码基于基于MATLAB的无Hessian优化深度学习。 （） 要下载所有数据集，请运行 cd mat/ wget www.cs.