神经网络-Python实现BP神经网络算法（理论+例子+程序）.pdf

神经⽹络——Python实现BP神经⽹络算法（理论+例⼦+程 序） ⼀、基于 ⼀、基于BP算法的多层感知器模型 算法的多层感知器模型 采⽤BP算法的多层感知器是⾄今为⽌应⽤最⼴泛的神经⽹络，在多层感知器的应⽤中，以图3-15所⽰的单隐层⽹络的应⽤最为普遍。⼀般 习惯将单隐层前馈⽹称为三层感知器，所谓三层包括了输⼊层、隐层和输出层。 算法最终结果采⽤梯度下降法，具体详细过程此处就省略了！ ⼆、 ⼆、BP算法的程序实现流程 算法的程序实现流程 三、标准 三、标准BP算法的改进 算法的改进——增加动量项 增加动量项 标准BP算法在调整权值时，只按t时刻误差的梯度降⽅向调整，⽽没有考虑t时刻以前的梯度⽅向，从⽽常使训练过程发⽣振荡，收敛缓慢。 为了提⾼⽹络的训练速度，可以在权值调整公式中增加⼀动量项。若⽤W代表某层权矩阵，X代表某层输⼊向量，则含有动量项的权值调整 向量表达式为 可以看出，增加动量项即从前⼀次权值调整量中取出⼀部分迭加到本次权值调整量中，α称为动量系数，⼀般有a (0，1)。动量项反映了 以前积累的调整经验，对于t时刻的调整起阻尼作⽤。当误差曲⾯出现骤然起伏时，可减⼩振荡趋势，