人工神经网络(Artificial Neural Network)又称连接机模型,是在现代神经学、生
物学、心理学等学科研究的基础上产生的,它反映了生物神经系统处理外界事物的基本过程,
是在模拟人脑神经组织的基础上发展起来的计算系统,是由大量处理单元通过广泛互联而构
成的网络体系,它具有生物神经系统的基本特征,在一定程度上反映了人脑功能的若干反映,
是对生物系统的某种模拟,具有大规模并行、分布式处理、自组织、自学习等优点,被广泛
应用于语音分析、图像识别、数字水印、计算机视觉等很多领域,取得了许多突出的成果。
最近由于人工神经网络的快速发展,它已经成为模式识别的强有力的工具。神经网络的运用
展开了新的领域,解决其它模式识别不能解决的问题,其分类功能特别适合于模式识别与分
类的应用。多层前向 BP 网络是目前应用最多的一种神经网络形式, 它具备神经网络的普遍
优点,但它也不是非常完美的, 为了更好的理解应用神经网络进行问题求解, 这里对它的优
缺点展开一些讨论。
1) 非线性映射能力:BP 神经网络实质上实现了一个从输入到输出的映射功能,数学理论证
明三层的神经网络就能够以任意精度逼近任何非线性连续函数。这使得其特别适合于求解内
部机制复杂的问题,即 BP 神经网络具有较强的非线性映射能力。
2) 自学习和自适应能力:BP 神经网络在训练时,能够通过学习自动提取输出、输出数据间
的“合理规则”,并自适应的将学习内容记忆于网络的权值中。即 BP 神经网络具有高度自学
习和自适应的能力。
3) 泛化能力:所谓泛化能力是指在设计模式分类器时,即要考虑网络在保证对所需分类对
象进行正确分类,还要关心网络在经过训练后,能否对未见过的模式或有噪声污染的模式,
进行正确的分类。也即 BP 神经网络具有将学习成果应用于新知识的能力。
4) 容错能力:BP 神经网络在其局部的或者部分的神经元受到破坏后对全局的训练结果不会
造成很大的影响,也就是说即使系统在受到局部损伤时还是可以正常工作的。即 BP 神经网
络具有一定的容错能力。
鉴于 BP 神经网络的这些优点,国内外不少研究学者都对其进行了研究,并运用网络解
决了不少应用问题。但是随着应用范围的逐步扩大,BP 神经网络也暴露出了越来越多的缺
点和不足,比如:
1) 局部极小化问题:从数学角度看,传统的 BP 神经网络为一种局部搜索的优化方法,它
要解决的是一个复杂非线性化问题,网络的权值是通过沿局部改善的方向逐渐进行调整的,
这样会使算法陷入局部极值,权值收敛到局部极小点,从而导致网络训练失败。加上 BP 神
经网络对初始网络权重非常敏感,以不同的权重初始化网络,其往往会收敛于不同的局部极
小,这也是很多学者每次训练得到不同结果的根本原因。
2) BP 神经网络算法的收敛速度慢:由于 BP 神经网络算法本质上为梯度下降法,它所要优