「深度学习：一种统计视角」

深度学习在实践中的显著成功，从理论的角度揭示了一些重大的惊喜。特别是，简单的梯度方法很容易找到非凸优化问题的接近最优的解决方案，尽管在没有任何明确的努力控制模型复杂性的情况下，这些方法提供了近乎完美的训练数据，这些方法显示了优秀的预测精度。我们推测这些现象背后有特定的原理: 过度参数化允许梯度方法找到插值解，这些方法隐含地施加正则化，过度参数化导致良性过拟合。