ksd-theano:Theano 的 Krylov 子空间下降

(KSD-Theano) 使用 Theano 进行 Krylov 子空间下降。 这是 Vinyals 和 Povey (2012) 在 AISTATS 论文中描述的 Krylov 子空间下降方法的实现。 该代码松散地基于 Hessian-Free 优化器的实现，可以在找到。 该算法是使用 Theano 实现的，用于计算最密集的部分。 我实现了 James Martens 的预调节器和 Jacobi 预调节器。 Krylov 子空间下降使用重复的矩阵向量乘法来估计所谓的 Krylov 子空间的正交基。 该方法可以看作是一种在参数空间中寻找有用方向的降维方法。 计算出方向后，将使用 Scipy 的 BFGS 实现对其进行搜索。 这个优化器的一个好处是，除了要计算的搜索方向的数量和要执行的 BFGS 迭代的最大数量之外，它只需要很少的超参数调整。 如果您发现任何错误或对此代码有任何疑问，