智能中国网提供学习支持 w
ww.5iai.com
2.4 BP 神经网络模型与学习算法
概述
Rumelhart , McClelland 于 1985 年提出了 BP 网络的误
差反向后传 BP (Back Propagation) 学习算法
BP 算法基本原理
利用输出后的误差来估计输出层的直接前导层的误差,
再用这个误差估计更前一层的误差,如此一层一层的反
传下去,就获得了所有其他各层的误差估计。
J. McClelland
David Rum
elhart
2.4.1 BP 神经网络模型
三层 BP 网络
2.4.1 BP 神经网络模型
激活函数
必须处处可导
一般都使用 S 型函数
使用 S 型激活函数时 BP 网络输入与输出关系
输入
输出
1 1 2 2
...
n n
net x w x w x w
1
f ( )
1 e
net
y net
2.4.1 BP 神经网络模型
输出的导数
2
1 1
f '( ) (1 )
1 e (1 e )
-net net
net y y
根据 S 型激活函数的图形可知 , 对神经网络进行训练,应该将 net 的
值尽量控制在收敛比较快的范围内