5.4 BP 神经网络的基本原理
BP(Back Propagation )网络是 1986 年由 Rumelhart 和
McCelland 为首的科学家小组提出,是一种按 误差逆传播 算
法训练的 多层前馈网络 ,是目前应用最广泛的神经网络模型
之一。BP网络能学习和存贮大量的输入 - 输出模式映射关系,
而无需事前揭示描述这种映射关系的数学方程。 它的学习规
则是使用最速下降法, 通过反向传播来不断调整网络的权值
和阈值,使网络的误差平方和最小。 BP神经网络模型拓扑结
构包括输入层( input )、隐层 (hide layer) 和输出层 (output layer) (如图 5.2 所示)。
5.4.1 BP 神经元
图 5.3 给出了第 j 个基本 BP神经元(节点),它只模仿了生物神经元所具有的三个最基本
也是最重要的功能: 加权、求和与转移。 其中 x
1
、x
2
, x
i
, x
n
分别代表来自神经元 1、2,i,n
的输入; wj1 、wj2 , wji , wjn 则分别表示神经元 1、2,i,n 与第 j 个神经元的连接强度,即权
值; b
j
为阈值; f( ·) 为传递函数; y
j
为第 j 个神经元的输出。
第 j 个神经元的净输入值 为:
(5.12 )
其中:
若视 , ,即令 及 包括 及 ,则