【普林斯顿博士论文】面向物理科学的可解释机器学习，242页pdf .pdf

如果1609年已经有机器学习技术，开普勒会发现他的定律吗？还是他会满足于黑盒回归模型的准确性，导致牛顿没有灵感去发现万有引力定律？在这篇论文中，我将对物理科学领域中机器学习及其用例进行回顾。我将强调科学应用中面临的一个主要问题：缺乏可解释性。过度参数化的黑盒模型容易在训练数据中记住伪相关。这不仅威胁到使用机器学习取得的研究进展，而且剥夺了科学家最强大的工具箱：符号操纵和逻辑推理。考虑到这一点，我将展示一个可解释机器学习框架，使用物理驱动的归纳偏差和一种名为“符号提炼”的新技术。这些方法的结合使从业者可以将训练好的神经网络模型转换为可解释的符号表达式。首先，我将讨论执行这种提炼的深度学习策略，然后回顾“符号回归”，这是一种使用进化算法优化符号表达式的算法。尤其是，我将描述我的PySR/SymbolicRegression.jl软件包，它是一个易于使用的高性能符号回归包，适用于Python和Julia。与此相关，我将讨论一些使这种技术更有效的物理驱动的归纳偏差。在论文的下半部分，我将回顾这种和其他可解释机器学习技术在天体物理问题上的各种应用。这些包括：宇宙学中的宇宙空洞、计算流体动力学中的 在当今快速发展的科技领域，机器学习作为一种强大的数据处理和分析工具，已经在包括金融、医疗、交通等多个行业广泛应用，而其在物理科学研究中的应用也是备受关注。然而，在物理科学领域应用机器学习时，面临的一个主要挑战是如何增强其可解释性。这个问题的重要性在普林斯顿大学Miles Donald Cranmer撰写的博士论文《面向物理科学的可解释机器学习》中得到了深入探讨。 论文的背景设置在了假想的历史情景下：如果1609年存在机器学习技术，那么开普勒是否能发现他的行星运动定律？或许他可能会依赖于黑盒回归模型的准确性，导致后续的科学发现，例如牛顿的万有引力定律，无法实现。这个假设凸显了机器学习在科学领域应用中的一个关键问题：传统机器学习模型，特别是过度参数化的模型，往往在训练数据中记住伪相关，从而导致研究者可能满足于模型的预测准确性而忽视了深入理解数据背后的物理原理。 为了解决这个问题，论文提出了一个可解释机器学习框架，该框架利用了物理驱动的归纳偏差和“符号提炼”技术。归纳偏差是机器学习模型中引入的先验知识，可以引导模型学习更符合物理定律的特征和关系。而“符号提炼”技术则是一种能够将训练好的神经网络模型转换为可解释的符号表达式的方法。这样，机器学习不仅能够提供准确的预测，还能够揭示数据背后的原因和机制，增强模型的透明度和可信度。 论文作者进一步详细介绍了实现“符号提炼”的深度学习策略，以及基于进化算法的“符号回归”方法。特别值得一提的是，作者开发的PySR/SymbolicRegression.jl软件包，它是一个专为Python和Julia设计的高性能符号回归工具包。这款软件包使得复杂的神经网络模型转化为可理解的符号表达式的过程变得更为简便和高效。 物理驱动的归纳偏差对提高符号回归的效率至关重要，它们能够利用已知的物理定律来指导模型的学习过程，避免模型学习到数据中的噪声和无关特征，提高模型的解释性和可靠性。这样的偏差可以帮助机器学习模型更好地适应物理学的环境，进而提高其在物理学研究中的实际应用价值。 论文的后半部分，作者通过一系列实际物理问题的应用案例，展示了可解释机器学习技术的实际效果和潜力。在天体物理学中，该技术被用于分析宇宙空洞，而在计算流体动力学领域，技术帮助研究者更好地理解和解释复杂现象。通过这些案例，作者证明了可解释机器学习技术不仅能够辅助科学家发现新的物理定律或理论，而且还能够帮助他们深入理解自然界的复杂现象。 总结来看，这篇论文不仅仅是对可解释机器学习技术的一次全面审视，更是探讨了这些技术如何与物理科学相结合，进而推动科学研究进步的一种尝试。作者的目的是将科学推理的核心地位恢复到机器学习的应用中，确保机器学习成为物理科学探索和理解自然规律的一个有力工具，而不仅仅是预测的手段。通过这项研究，我们有理由相信，在物理科学中合理应用可解释机器学习技术，将带来更为深远的科学发现和理论创新。