神经网络参数更新公式推导（一）.docx

神经网络参数更新公式推导（一） 神经网络是机器学习领域中的一个重要分支，神经网络的参数更新是一个关键的问题。本文主要介绍了单隐层网络的发展历程、发展期间遇到的问题、机器解决方案，以及根据目标函数和网络结构列出其权重和阈值的递推公式。 神经网络的发展历程可以分为四个阶段：1. MP 神经元阶段；2. 感知机阶段；3. 多层前馈神经网络阶段；4. 误差逆向传播算法阶段。在早期的感知机阶段，只有一个 MP 神经元，不能处理非线性问题，解决方法是增加 MP 神经元的数量，例如增加一层神经元。但是，这也带来了两个新的问题：问题 1. 参数的变化并没有导致网络整体输出的变化；问题 2. 参数如何更新？ 解决方法是使用 Sigmoid 函数作为激活函数，并采用 BP 算法反向更新权重和阈值参数。BP 算法可以解决逆向传播的问题，并提高计算效率。BP 算法最早由 Paul Werbos 在 1974 年提出，后由加州理工学院 John Hopfield 用神经网络通过电路模拟仿真的方法求解旅行商问题而快速发展。 单隐层网络的权重和阈值参数更新公式推导是通过 BP 算法来实现的。给出初始权重，计算当前的输出，然后反向计算偏导数，一直递推回输入层。然后，根据目标函数和网络结构，列出其权重和阈值的递推公式。 神经网络的参数更新是一个复杂的问题，但通过 BP 算法和 Sigmoid 函数，可以解决逆向传播的问题，并提高计算效率。单隐层网络的权重和阈值参数更新公式推导是一个重要的知识点，对神经网络的理解和应用有重要的影响。 在解决多隐层神经网络训练中的问题时，有两种方法可以解决多隐层神经网络训练发散问题：a. 无监督逐层训练（unsupervised layer-wise training）；b. 使用深度学习算法，例如深度信念网络（Deep Belief Networks）。这两个方法可以解决多隐层神经网络训练中的问题，并提高模型泛化性能。