神经网络概述与BP神经网络.pdf

"神经网络概述与BP神经网络" 在本节中，我们将对神经网络概述和BP神经网络进行详细的介绍。 一、 神经网络概述 神经网络是一种高度非线性动力学系统，由多个神经元连接成网络，每个神经元可以接受多个输入信号，并按照一定的规则转换为输出信号。由于神经元间复杂的连接关系和各神经元传递信号的非线性方式，输入和输出信号间可以构建出各种各样的关系，因此可以用来作为黑箱模型，表达那些用机理模型还无法精确描述、但输入和输出之间确实有客观的、确定性的或模糊性的规律。 神经网络的特性及能力主要由神经元的特征、网络连接的拓扑结构、学习规则等决定。 （一）人工神经元（Artificial Neuron）模型 人工神经元是人工神经网络操作的基本信息处理单位，是神经网络设计的基础。神经元是一个多输入、单输出的单元。人工神经元模型可以看成是由三种基本元素组成：一组连接权值与阈值、一个加法器、一个激活函数。 激活函数是人工神经元模型中的一个重要组成部分，常见的激活函数有阶梯函数、分段线性函数、线性函数、非线性函数等。 二、 神经网络结构图 神经网络是由大量的神经元互联而构成的网络。根据网络中神经元的互联方式，常见网络结构主要分为三类：前馈神经网络、反馈神经网络、自组织神经网络。 （二）常见神经网络结构图 1、前馈神经网络（Feedforward Neural Networks） 前馈神经网络是神经网络的一种，网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。 2、反馈神经网络（Feedback Neural Networks） 反馈神经网络是一种从输出到输入具有反馈连接的神经网络。典型的反馈型神经网络有：Elman 网络、Hopfield 网络、波耳兹曼机。 3、自组织神经网络（SOM，Self-Organizing Neural Networks） 自组织神经网络是一种无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 （三）学习规则 在神经网络中，学习规则就是修正权值的一种算法，其目的是为了使得网络输出更符合实际。常见的学习规则有：BP算法、梯度下降法等。