PSD保证下近似贝叶斯推理的Bayes-Newton方法_Bayes-Newton Methods for Approximate Bayesian Inference with PSD Guarantees.pdf
在机器学习和统计学领域，近似贝叶斯推断（Approximate Bayesian Inference, ABI）是处理复杂概率模型时不可或缺的技术。"PSD保证下近似贝叶斯推理的Bayes-Newton方法"着重探讨了一种新型的推理框架，它将自然梯度变分推断（Natural Gradient Variational Inference, NGVI）、期望传播（Expectation Propagation, EP）以及后验线性化（Posterior Linearization, PL）方法视为牛顿法的扩展，用于优化贝叶斯后验分布的参数。这种方法从数值优化的角度来明确地表述推断算法，为各种推理方案提供了新的统一视角。
牛顿法是一种常用的优化方法，它的基本思想是通过迭代找到函数的极小值。在贝叶斯框架下，我们通常需要求解复杂的高维后验概率分布，这通常涉及对参数进行优化。作者提出，常见的牛顿法近似，如高斯-牛顿法（Gauss-Newton）和拟牛顿法（quasi-Newton，例如BFGS算法），可以被纳入这个“Bayes-Newton”框架，并且在该框架下仍然有效。这些方法的一个关键优点是它们保证生成的协方差矩阵为正半定，这是标准变分推断和期望传播方法通常无法做到的。
正半定矩阵的保证对于确保算法的稳定性和收敛性至关重要，因为这能防止出现负定义的协方差矩阵导致的问题，例如负概率。这一特性使得Bayes-Newton方法在处理非共轭先验和非高斯似然函数的模型时，如高斯过程和状态空间模型，特别有用。高斯过程在机器学习中常用于回归和分类问题，而状态空间模型在时间序列分析和动态系统建模中占据重要地位。
关键词提到的“近似贝叶斯推断”是指在计算资源有限的情况下，通过近似方法来估计复杂的贝叶斯后验分布。“优化”是指寻找最佳参数的过程，“变分推断”是通过最小化一个与目标后验分布的Kullback-Leibler散度相关的代理目标来近似后验的一种方法。“期望传播”则是一种在概率图模型中通过消息传递来近似后验分布的方法。“高斯过程”是一种灵活的概率模型，用于非参数回归和统计预测。“状态空间模型”是描述随时间变化的动态系统的统计模型，广泛应用于控制理论、信号处理和金融领域。
这篇论文提出的Bayes-Newton方法为近似贝叶斯推断提供了一种新的、有保证的优化策略，能够保证正半定性的协方差矩阵，从而在保持计算效率的同时提高推断的稳定性和准确性。这一框架统一了多种推断方法，深化了我们对这些方法之间关系的理解，并且可以应用于广泛的概率模型，包括具有稀疏结构的模型，如稀疏高斯过程。这种方法的提出对于推动贝叶斯推断技术的发展，尤其是在处理大规模和复杂数据集时，具有重要的理论和实践价值。
