Back Propagation Neural Networks
cig01
<2015-12-25 Fri>
Contents
1 反向传播算法和 BP 网络简介 1
2 信息前向传播 3
3 误差反向传播 3
3.1 输出层的权重参数更新 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.2 隐藏层的权重参数更新 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.3 输出层和隐藏层的偏置参数更新 . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.4 BP 算法四个核心公式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.5 BP 算法计算某个训练数据的代价函数对参数的偏导数 . . . . . . . . . . . . . . . . 10
3.6 BP 算法总结：用“批量梯度下降”算法更新参数 . . . . . . . . . . . . . . . . . . . . 11
4 梯度消失问题及其解决办法 12
5 加快 BP 网络训练速度：Rprop 算法 12
1 反向传播算法和 BP 网络简介
“误差反向传播算法 (Error Back Propagation)”的提出，使得多层感知器的模型中神经元的参数的计算
变得简单可行。
误差反向传播算法简称反向传播算法（即 BP 算法）。反向传播算法于 1986 年由 David E. Rumelhart
和 James L. McClelland 发表于书籍 Parallel Distributed Processing 中。使用反向传播算法的多层
感知器又称为 BP 神经网络。
BP 算法是一个迭代算法，它的基本思想为：(1) 先计算每一层的状态和激活值，直到最后一层（即信号
是前向传播的）；(2) 计算每一层的误差，误差的计算过程是从最后一层向前推进的（这就是反向传播算
法名字的由来）；(3) 更新参数（目标是误差变小），迭代前面两个步骤，直到满足停止准则（比如相邻两
次迭代的误差的差别很小）。
参考：Parallel Distributed Processing (1986, by David E. Rumelhart, James L. McClelland),
Chapter 8 Learning Internal Representations by Error Propagation: http://psych.stanford.
edu/~jlm/papers/PDP/Volume%201/Chap8_PDP86.pdf
本文的记号说明：
1
