BF神经网络学习算法的研究 共50页 摘要 本文研究了RBF神经网络的各种学习算法。在总结概述前人工作优缺点的基 础上本文分析了三种优良的学习算法。与现存的学习算法相比在具有良好性 能的前提下本文的算法可以产生更紧凑的网络结构。 本文首先回顾RBF神经网络的网络结构及其基本的学习过程。第二章详细 介绍了径向基函数与插值、RBF网络模型和RBF网络的逼近性能。第三章对现阶 段流行的各种RBF神经网络学习算法作了概述给出了正交最小二乘法(OLS)、 递阶遗传训练算法(HGA)和粒子群优化(PSO)算法三种学习算法的详细训练过程。 在第三章的结尾还给出了这三种学习算法的优缺点分析。第四章设计了仿真实 验对基于RBF神经网络的判别模型和其他基于距离的判别模型做了相互比较 仿真结果表明了RBF神经网络的有效性。第五章总结了本文的工作并对RBF 神经网络研究方向做了展望。
RBF神经网络学习算法的研究 摘要 木文研究了RBF神经网络的各种学习算法。在总结概述前人工作优缺点的基 础上,本文分析∫三种优良的学习算法。与现存的学习算法相比,在具有良好性 能的前提下,本文的算法可以产生更紧凑的网络结构。 本文首先回顾RBF神经网络的网终结构及其基本的学习过程。第二章,详细 介绍了径向基函数与插值、RBF网络模型和RBF网络的逼近性能。第三章对现阶 段流行的各种RBF神经网络学习算法作了概述,给出了正交最小二乘法(OLS) 递阶遗传训练算法(HGA和粒子群优化(PSO算法,三种学习算法的详细训练过程 在第三章的结尾还给出了这三种学习算法的优缺点分析。第四章,设计了仿真实 验,对基于RBF神经网络的判别模型和其他基于距离的判别模型做了相互比较, 仿真结果表明了RBF神经网络的有效性。第五草,总结了本文的工作,并对RBF 神经网络研究方向做了展望 关键词: RBFNN,OLS,HGA,PSO,距离判别 ABSTRaCT In this paper, I have study the rBF neural network learning algorithm. In summing up the advantages and disadvantages of an overview of previous work on the basis of the analysis in this article, I have made three high-quality learning algorithm. Compared with the existing learning algorithms, this algorithm can generate more compact network structure In this paper, rBF neural networks to begin by reviewing the network architecture and the basic learning process. The second chapter describes in detail with the radial basis function interpolation, RBF network model and the approximation properties of RBF networks. Chapter III of this stage a variety of popular learning algorithm for RBF neural networks are outlined, given the orthogonal least squares (OLS), training of hierarchical genetic algorithm(HGA) and particle swarm optimization(Pso) algorithm, three kinds of learning training algorithm in detail. at the end of Chapter iii also gives the advantages and disadvantages of three types of analysis of learning algorithms Chapter iv, the design of the simulation results, based on RBF neural network identification model and other distance-based discriminant model has done a comparison, simulation results show the effectiveness of rBF neural network. Chapter V summarizes the work of this paper, RBF neural network and study the prospect of direction Key words: RbFNN. OLS. hGa. Pso. Distance Criterion www.docin.com 缩写和符号说明 缩写 AN: Aartificial Neural Network人工神经网络 RBF: Radial basis function径向基函数 RBFNN: Radial Basis Function Neural Networks径向基函数神经~络 OLS: Orthogonal Least Soμ cares正交最小二乘 HGA: Hierarchical genetic^ Algorithm递阶遗传算法 PSO: Particle Swarm Optimization粒子群优化 重要的符号 M:隐层神经元的个数 c:径向基函数的中心 径向基函数的宽度 n:神经网络的输入样本数据的维数 m:袒经网络的输出样本数据的维数 b:网络偏置 (x,y):神经网络的输入输出数据对 w:隐层和输出层的连接权值 docin. com q(x):径向基函数的输出 P:回归算子矢量 a1a2…a1:基因串编码 r:表示等位基因 L:为给定的编吗长度 Hm:m阶种群空间 v:粒子的飞行速度 x:粒了的位置 第一章绪论 人工神经网络( Artificial Neural Network,ANN)是人工智能研究的重要组成 部分,自八十年代复苏以来,这一交义学科已成为人工智能、神经科学、认知科 学、心理学、行为学等学科共同关心的焦点,吸引了大批研究人员的注意力。经 过多年的研究,在许多领域取得的令人瞩目的成就,充分证明了模拟生物神经计 算功能的人工神经网络具有通常的数字计算机所难以比拟的许多优势,如自学习 能力、自组织、自适应性和联想能力等。 1.1神经网络概述 现代讣算机有很强的计算和信息处理能力,但是它对模式识别、感知和在复 杂环境中作决策等问题的处理能力远不如人,特别是它只能按人事先编好的程序 机械的执行,缺乏向环境学习、适应环境的能力。早在20世纪初,人们已经知道 人脑的工作方式与现在的计算机是不同的,人脑是由大量的具有高速处理能力的 神经元互相连接组成的高度复杂的、非线性的、并行信息处理系统。人脑单个神 经元的处理速度比计算机的基本单元低5-6个数量级,但是因为神经元数目巨大 相互之间高度互联,处理速度反而比计算机快很多,而且能耗非常低。自从认识 到人脑与数字计算机的工作方式不同之后,人们就想从模仿人工智能的角度出发, 探寻新的信息表示、存储和处理的方式,设计全新的计算机处理结构,于是关于 人工神经网络(一般简称神经网络)的研究就开始了。神经网络是模仿人脑工作 方式而设计的一种机器,它可用电子或光电元件实现,也可用软件在数字计算机 上仿真;或者说神经网络是一种具有大量连接的并行分布式处理器,它具有通过 学习获取知识并解决问题的能力,而且知识是分布存储在连接权值中。由于神经 网终的结构特征和神经元的学习能力,使得神经网络具有下列特点: (1)高强的容错能力; (2)非线性映射暹近能力; (3)便于集成电路实现和计算模拟; (4)对信息的并行分布式综合优化处理能力神经网终的大规模互连网络结构, 使其能很快的并行实现全局的实时信息处理,并很好的协调多种输入信息之间的 关系,兼容定性和定量信息; (5)对学习结果的泛化和自适应能力经过适当训练的神经网络具有潜在的自 适应模式匹配功能,能对所学信息加以分布式存储和泛化,这是其智能特性的重 要体现 1.1.1神经元模型和网络结构 神经网络是由一个或多个神经元组成的信息处理系统。对于具有n个输入节 点和m个输出节点的神经网终,输入输出关系可以看作是n维欧氏空间到m维欧 氏空间的映射模型,用数学形式表示为f:y=f(x),其中x为n维输入向量,y为 m维输出向量。网络实际输出与期望输出之间的误差是衡量所构造的网络模型的 性能的指标。神经元是神经网络的基本处理单元,一般表现为一个多输入,单输 出的非线性运算器件,网终结构可以从单个神经元基本结构展现出来,主要包括 三个基本要素: 1.一组连接(对应于生物神经儿的突触),连接强度由各连接上的权值表示, 权值为正表示激活,为负表示抑制。 2.个求和单元,用于求取各输入信号的加权和(线性组合) 3.一个激活函数,起到非线性映射作用并将神经元输出帽度限制在一定范围 内。此外还有一个附加的输入b,称作阈值 threshold)或偏置(bias)。图1.1为神经 元结构模型。 1.1 (x)(0)→n 图1.1单个神经元结构模型 其数学形式可描述为: y=f(∑wx-h) (101) 其中,x1,x2,…x为神经元的输入信号,v,24,…,n为神经元k的连接权值,b 为阙值,y为神经元k的输出。f()为神经元的转换函数,每个神经元的输出都基 于它的定义算出的,通过它实现输入信号到输出信号的映射,常称为激活函数, 它可以是线性的也可以是非线性的。典型的激活函数主要有以下几种,如图1.2所 小 +1 +1 工ZA (a)阅值函数 b)分段线性函数 (c)S型函数 (d)径向基函数 图12儿种典型的激活函数 单个神经元的能力是很有限的,只能作简单的线性划分,不能解决异或间题。 如果将多个神经元进行组合,组成复杂的神经网络,将极大地提高神经网络的能 力。神经网终中各个神经元之间的连接可以是任意的,根据拓扑结构有无环路, 可以分为前馈神经网络和反馈神经网络。 (1)前馈神经闷络,它是指拓扑结构为有向尢环图的神经闷络,各神经元接收 前一层的输入,并将计算结果输出给下一层。除了输入层之外,隐层和输出层神 经元都具有计算能力。常见的前馈神经网络有,单层感知器,多层感知器 Multilayer romn,MP),RBF神经网络,级联相关( Cascade-Correlation,,cc)神经网 Pe (2)反馈神经网络,它是指拓扑结构中有环路的神经內络。反馈环路的存在, 使得网络的输出部分影响作用于网络的输入,使网终产生动态特性,对网络的学 习能力和性能产生了深刻的影响。所有结点都是计算结点,同时也可接受输入, 并向外输出。最著名的反馈神经网络是 Hopfield神经刚络,基函数取线性函数, 激活函数取 Sigmoid函数构成连续状态 Hopfield网络,或者取硬极限函数构成离 散状态 Hopfield网络。 1.1.2神经网络的学习 神经网络的一个重婁特性是它能够从环境中学习,并把学习的结果分布存储 于网络的突触连接中。神经网络的学习是一个过程,在其所处的环境的激励下 它的自由参薮按照一定的方式得到调节,从而以新的方式响应环境。按照环境提 供信息的多少,学习方式可分为三种: (1)监謦学习:需要外界存在个教师,对组给定输入提供应有的期望输出, 神经网络可根据输入向量和日标输出与实际输出之间的误差值来诮节系统参数。 这种调整可以逐步反复进行的,最终目的就是让神经网络模拟教师; (2)强化学习:环境对系统输岀结果只给山评价而不给岀正确答案,神经网络 通过强化那些受奖励的动作来改善自身性能。这种评价机制,实现了延迟强化 系统观察从环境接收的一个时序刺激,最终产生启发式的强化信号。 (3)非监謦学习:不冇在外部教师,神经网络完全按照环境所提供数据的某些 统计规律来调节自身参数和结构,以表示外部输入的某种圉有特征。 用亍完成学习过程的程序称为学习算法,其功能是以有序的方式改变网络的 突触权值以获待想要的设计目标。神树络的设计有多种不同的学习算法,每 种都有它的优势,如误差修正学习,基于记忆的学习,Hebb学习,竟争学习, Boltzmann学习。 当神经网络所处环境的统计特征不随时间变化时,从理论上说通过监督学习 可以学到环境的统计特征,并把这些统计特征作为神经网络的经验记住。如果环 境的统计特征随时间变化,通常的监督学习没有能力跟踪这种变化,为此解决此 问题需要网络有一定的自适应能力,此时将每个不同的输入都作为一个新的例子 对待 1.2RBF网络学习算法研究现状 RBF神经网络是从多变量函数插值发展起来的,从概念形成之日起就吸引了 很多学者的研究兴趣。RBF网络模拟了人脑中局部调整、相互覆盖接受域的神经 网络结构,是一种具有局部逼近性能的前馈神经网绺。它不仅具有局部逼近性能, 而且具有最佳逼近性能。人们一直在努力改进它的性能,如收敛速率、泛化性能 鲁棒性能笭。RBF网络的这些性能很大程度上取决于它的学习算法,好的学习算 法可以提高网络的性能。常用的RBF网络学习算法的隐节点中心选择的算法有如 下几种 (1)随机选取隐节点中心; (2)聚类选取隐节点中心; (3)正交最小二乘方法选取隐节点中心; (4)利用统计学概念选择隐节点中心; (5)仿生算法选择隐节点巾心; (6)混合方法选择隐节点中心。 1.3本文主要研究工作 RBF网络的隐层激活函数采用非线性的径向基函数(一般为高斯函数),这就 使得该网络呈现高度非线性。如果采用梯度训练法训练RRF网络,在训练的过程 中,很容易陷入局部最小点。因此,为了求得最优的网络结构和参数,RBF网络 的学必须是基于非线性优化技术的。 本文主要的研究内容有: (1)研究RBF网络的常用学习算法,分析他们的优点和不足 (2)编制 Matlab实验程序,验证算法的有效性,并对试验结果进行分析。 本文的结构安排如下: 第一章,简要介绍了神经网络历史和学的相关概念,RBF网络学丬算法研 究现状,同时介绍了本课题研究的主要研究工作; 第二章,主要介绍了RBF网络的基本原理; 第三章,主要介绍了RBF刚络的三种学习算法:正交最小二乘学习算法OLS 递阶遗传训练算法(HGA)、粒子群优化(PSO算法。并分析了它们的优缺点; 第四章,设计了 MATLAB仿真实验,通过与其它的距离判别方法比较,验证 ∫RBF络的有效性,并对仿真的结果进行了分析; 第五章,小结木文所做的研究工作,并对RBF网络今后的研究工作进行了展 望 第二章RBF网终原理 径向基函数神经网络( Radial basis function neural| Network,RBF神经网络) 是一类常用的三层前馈树络,既可用于函数暹近,也可用于模式分类。与其他类 型的人工神经网络相比,RBF网络有生理学基础,结构简单,学习速度快,优良 的逼近性能等特点。 2.1径向基函数与插值问题 径向基函数是数值分析的主要研究领域之一,它是为了解决实数多变量插值 问题而引入的,在一定程度上利用了多维空问传统严格插值的研究成果。多变量 严格插值问题,要求插值曲面必须通过所有的训练薮据点,用数学语言描述如下: 给定一个包含N个不同点的集合{x2∈R"|=1,2,…,N}和相应的N个实数的 集合{v∈R'|i=1,2…,N},寻找一个函数F:R→R!满足下列插值条件: F(x)=v,=1,2,…,N (201) 在RBF方法中,函数F具有如下形式 F(x)=∑ (2.02) 其中(x2,N三个包含个任意的向基函数的生合,表示范 数,一般为欧氏范数,x∈R",为训练数据,作为径向基函数的中心。 把式(2.01)代入式(2.02),得到关于权值w}的齐次线性等式 911912 W 021922 N (203) 99 9(-x),-12 (2.04) 令y=[y1y2…,],表示期望输出向量;w=[w1,w2…,w],表示连接权 值向量;φ=[n1,=1,2,…,N},表示插值矩阵 式(2.03可以写成: 2.05