没有合适的资源?快使用搜索试试~ 我知道了~
BP神经网络算法.doc
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 1 下载量 185 浏览量
2021-10-12
10:10:56
上传
评论
收藏 403KB DOC 举报
温馨提示
试读
35页
BP神经网络算法.doc
资源推荐
资源详情
资源评论
. . . .
BP 神经网络算法
摘要
人工神经网络,是由大量处理单元〔神经元〕组成的非线性大规模自适应动力
系统。它具有自组织,自适应和自学习能力,以与具有非线性、非局域性,非定常
性和非凸性等特点。它是在现代神经科学研究成果的根底上提出的,试图通过模拟
大脑神经网络处理,记忆信息的方式设计一种新的机器使之具有人脑那样的信息处
理能力。
作为人工智能的重要组成局部,人工神经网络有较大的应用潜力。本文阐述了
神经网络的开展、现状与其原理,介绍了神经网络在航空航天业、国防工业、制造
业等诸多方面的应用。BP 神经网络是目前应用较多的一种神经网络结构。它能以
任意精度逼近任意非线性函数,而且具有良好的逼近性能,并且结构简单,是一种
性能优良的神经网络。
本文阐述了 BP 神经网络的根本原理,详细分析了标准 BP 算法、动量 BP 算法
以与学习率可变的 BP 算法等几种流行的 BP 神经网络学习算法,详细的介绍了这几
种算法的优缺点,并给出了各种算法的仿真程序,通过仿真结果对各种算法进展比
拟后有针对性的提出了 BP 算法的一种改良——变梯度 BP 算法。对于改良的 BP 算
法,本文不仅从理论方面对其进展了深入的分析,还介绍了该算法的详细思路和具
体过程,将算法训练后的 BP 神经网络运用到函数逼近中去。仿真结果说明,这种
改良方案确实能够改善算法在训练过程中的收敛特性,而且提高收敛速度,取得令
人满意的逼近效果。
关键词: 人工智能;BP 神经网络;变梯度法;改良
Abstract
Artificial neural network, by the large number of processing units (neurons)
composed of large-scale adaptive nonlinear dynamic systems. It is self-
organization, adaptive and self-learning ability, as well as non-linear, non-
local, non-steady and non-convex and so on. It is in modern neuroscience
research on the basis of the results, trying to simulate the brain network
processing, memory about the means to design a new machine so that it is the
human brain, as the information processing capability.
As an important component of artificial intelligence, artificial neural
networks have greater potential applications. This paper describes the
development of a neural network, the status quo and its principles, introduced
I / 35
. . . .
a neural network in the aerospace industry, defense industry, manufacturing
and many other aspects of the application. BP neural network is more of a
neural network structure. Approaching it with any precision arbitrary
nonlinear function, but also has a good approximation performance, and
simple structure, is a good performance of neural networks.
In this paper, BP neural network the basic principles, detailed analysis of
the standard BP algorithm, momentum BP algorithm and the variable rate of
learning, such as BP algorithm several popular BP neural network learning
algorithm, described in detail the advantages and disadvantages of these
different algorithms And gives a variety of algorithm simulation program,
through the simulation results of the various algorithms to compare targeted
after BP made an improved algorithm - BP change gradient algorithm. BP to
improve the algorithm, the paper not only from the theoretical aspects of their
in-depth analysis, also described the algorithm is detailed ideas and specific
process, method of training to use BP neural network to function
approximation. The simulation results show that this improvement
programme is to improve the training algorithm in the process of convergence
characteristics, and improve the convergence rate, a satisfactory
approximation.
Keywords:Artificial intelligence; BP neural network; change gradient
method; improve
目 录
第一章 绪论.........................................................................................................................III
1.1 人工神经网络的开展史.......................................................................................................III
1.2 人工神经网络的应用...........................................................................................................VI
第二章人工神经网络的根本原理与模型..........................................................................IX
2.1 神经网络构成的根本原理
[
3
][
5
][
6
]
..................................................................................IX
2.1.1 人工神经元模式 IX
2.1.2 连接权值 IX
2.1.3 神经网络状态 X
2.1.4 神经网络的输出 X
2.2 神经网络的结构.....................................................................................................................X
2.3 神经网络的特点..................................................................................................................XII
2.4 神经网络的学习方式........................................................................................................XIII
2.5 几种典型的神经网络........................................................................................................XIV
II / 35
. . . .
第三章 BP 神经网络算法的改良与其仿真研究...........................................................XVII
3.1BP 算法的数学描述..........................................................................................................XVII
3.2BP 网络学习算法.................................................................................................................XX
3.2.1 标准 BP 算法 XXI
3.2.2 动量 BP 算法 XXII
3.2.3 学习率可变的 BP 算法
[
9
][
10
]
XXIV
3.3BP 算法的缺陷..................................................................................................................XXV
3.4BP 算法的一种改良——变梯度 BP 算法
[
14
]
................................................................XXVI
3.4.1 共轭梯度法 XXVI
3.4.2 改良共轭梯度法
[
15
]
XXVII
3.5BP 网络应用实例............................................................................................................XXIX
3.5.1 一般 BP 算法与其改良算法训练过程的不同
[
16
]
XXIX
3.5.2BP 神经网络的函数逼近 XXX
完毕语............................................................................................................................XXXI
参考文献........................................................................................................................XXXI
附录.............................................................................................................................XXXIII
第一章 绪论
1.1 人工神经网络的开展史
早在 20 世纪初,人们就已经发现人脑的工作方式与现在的计算机是不同的。人
脑是由极大量根本单元〔称之为神经元〕经过复杂的相互连接而成的一种高度复杂
的、非线性的、并行处理的信息处理系统。
III / 35
. . . .
人工神经网络〔artificial neural network,ANN〕,是借鉴人脑的结构和特点,
通过大量简单处理单元〔神经元或节点〕互连组成的大规模并行分布式信息处理和
非线性动力学系统。它具有巨量并行性、结构可变性、高度非线性、自学习性和自
组织性等特点。因此,它能解决常规信息处理方法难以解决或无法解决的问题,尤
其是那些属于思维〔形象思维〕、推理与意识方面的问题。
从人脑的生理结构出发来研究人的智能行为,模拟人脑信息处理的过程,即人工
神经网络的研究,自 20 世纪 40 年代以来,它的开展经历了一条由兴起、萧条和兴
盛三个阶段构成的曲折道路
[
1
][
2
][
3
]
。
早在 1943 年精神病学家和神经解剖学家 McCulloch 与数学家 Pitts 在数学生物
物理学会刊《Bulletin of Mathematical Biophysics》上发表文章,总结了生物神
经元的一些根本生理特征,提出了形式神经元的数学描述与结构,即 MP 模型。他
们的神经元模型假定遵循一种所谓“有或无〞〔all-or-none〕规那么。如果如此简单
的神经元数目足够多和适当设置突触连接并且同步操作,McCulloch 和 Pitts 证明
这样构成的网络原那么上可以计算任何可计算函数。这是一个有重大意义的结果,
有了它就标志着神经网络和人工智能学科的诞生。
1949 年生理学家 D.O.Hebb 出版了《The Organization of Behavior》(行为
组织学)一书。该书第一次鲜明提出了神经元连接强度的 Hebb 规那么。他认为学习
过程是在突触上发生的,突触的联系强度随其前后神经元的活动而变化。根据这一
假设提出的学习规那么为神经网络的学习算法奠定了根底,使神经网络的研究进入
了一个重要的开展阶段。
1954 年 Minsky 在 Princeton 大学撰写了“神经网络〞的博士论文,题目是
《Theory of Neural-Analog Reinforcement Systems and Its Application tothe
Brain-Model Problem》。1961 年 Minsky 发表了早期关于人工智能〔AI〕的优
秀论文“Steps Toward Artificial Intelligence〞,论文的后半部包含了当今神经网
络 的 大 局 部 容 。 1967 年 Minsky 出 版 了 《 Computation :Finite andInfinite
Machines》一书,它是第一本以书的形式扩展了 McCulloch 和 Pitts1943 年的结
果,并把他们置于自动机理论和计算理论的背景中。
1958 年,计算机科学家 Rosenblatt 提出感知机〔Perceptron〕,首次把神经网
络理论付诸工程实现。这是一种学习和自组织的心理学模型,它根本上符合神经生
IV / 35
. . . .
物学的知识,模型的学习环境是有噪声的,网络构造中存在随机连接,这是符合动
物学习的自然环境。当时,人们对神经网络的研究过于乐观,认为只要将这种神经
元互连成一个网络,就可以解决人脑思维的模型问题。
但是,随之而来的 Minsky 和 Papert〔1969〕所著的《Perceptron》一书,
利用数学证明单层感知器所能计算的根本局限,提出感知器的处理能力有限,甚至
连 XOR 这样的问题也不能解决,并在多层感知器的总结章中,论述了单层感知器
的所有局限性在多层感知器中是不可能被全部克制的。当时人工智能的以功能模拟
为 目 标 的 另 一 分 支 出 现 了 转 机 , 产 生 了 以 知 识 信 息 处 理 为 根 底 的 知 识 工 程
〔Knowledge Engineering〕,给人工智能从实验室走向实用带来了希望。同时,
微电子技术的开展,使传统的计算机的处理能力有很大提高,数字计算机的开展使
当时科学界普遍认为它能解决一切问题,包括模式识别、机器人控制等。因而不必
去寻找新的计算理论与实现方法。而且,当时的工艺水平还未能达到制作实用的具
有足够规模的神经网络,用别离的电子管即使是晶体管所制作的神经网络也只能作
示教星的表演。这些因素的共同作用,促使人们降低了对神经网络研究的热情,从
而使神经网络进入萧条时期。
但在其间,一些人工神经网络的先驱仍然致力于这一研究,美国波士顿大学的
Grossberg 提出了自适应共谐振理论〔ART 网〕,芬兰的 Kohonen 提出了自组织
映射〔SOM〕,Amari 致力于神经网络数学理论的研究,这些都为神经网络的进
一步研究与开展奠定了根底。
1982 年,美国加州工学院 Hopfield 提出 Hopfield 神经网络模型,开创了神经
网络用于联想记忆和优化计算的新途径,有力地推动了神经网络的开展。1985 年,
Hinton 和 Sejnowsky 等人提出了 Boltzmann 模型,首次采用了多层网络的学习算
法,在学习中采用统计热力学模拟退火技术,保证整个系统趋于全局稳定点。1986
年 Remelhart 和 McClelland 等人提出了并行分布处理的理论,同时,Werbos 和
Parker 独立开展了多层网络的 BP 算法,这是目前最普遍的网络,广泛用于实际问
题求解。
神经网络的开展已到了一个新时期,它涉与的围正在不断扩大,其应用渗透到各
个领域。在连接主义模式下,进化与学习结合的思想正在迅速开展,神经计算、进
化计算正成为其开展的一个重要方向。1994 年廖晓昕对细胞神经网络建立了新的
数学理论与根底,得出了一系列结果,如平衡态的全局稳定性、区域稳定性、周期
解的存在性和吸引性等,使该领域取得了新的进展。P.Werbos 通过混沌、独立子系
统的数学技术来理解人的认知过程,建立新的神经信息处理模型和框架。日本学者
Amari.S 将微分流形和信息集合应用于人工神经网络的研究,探索系统化的新的神
V / 35
剩余34页未读,继续阅读
资源评论
- 情萍笙2022-05-27用户下载后在一定时间内未进行评价,系统默认好评。
huayuya123
- 粉丝: 26
- 资源: 31万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功