多层感知器是一种多层前馈神经网络 ,常用的快速训练算法有共轭梯度法、拟牛顿法。通 过模式分类实验对这两种算法和 BP算法进行比较 ,并由试验数据得出这几种算法的复杂性、可靠 性 ,以及由算法产生的多层感知器的泛化能力。
何渊淘,邓佇:多层感知器三种学习算沄的比较 用来训练和测试,试验中选用了两个隐层神经元的多层感知器。从表3可以看出当训练回合数为60次时,共 轭梯度法和拟牛顿法已经收敛到稳定状态,而BP算法则要到500回合才能达到近似的分关正确率。 表3Ii数据分类误差 训练回合数 20 100 150 500 BP算法误差/% 13.33 12 5.33 266 共轭梯度法误差/%5.33 267 拟牛顿法误差/% 267 在算法的空间耗费上,BP算法在进行迭代运算时每次只存储性能函数当前的梯度和上·次的权值调整 量,共轭梯度法要冇储本次和上一次迭代的共轭方向,其空间耗费相近。而拟牛顿法在每次迭代运行时不但 要存储当前的梯度和上一次迭代的梯度同时还要存储一个赫森矩阵的逆矩阵,耗費的空间要比另外两种算 法大得多。在时间上共轭梯度法和拟牛顿法在每次迭代时要线性搜索性能函数的最小值来确定权值调整量, 这使得算法耗费大量的时间而且有很多不确定因素。对于共轭梯度法,根据RFeτcher的分杬,当误差函数 不是二次函数时每次得出的共轭方向并不一定是误差函数下降的方向,所以算法必须周期性地将共轭方冋没 定为梯度方向,使该算法的可靠性和有效性降低。拟牛顿法要有效且可靠得多,但拟牛顿法每次都要计算和 存储赫森矩阵的逆矩阵。对于—些规模较大的神经网络,空间的耗费使得用拟牛顿法变得不现实 3结论 多层感知器广泛应用于模式识别领域,在解决具休问题时,选择一个合适的训练算法仍是一个值得考虑 的问题。文章中把基于优化理论的两种算法和BP算法在实验中作了比较,从中得出共轭榜度法和拟牛顿法 极大加速了多层感知器的训练速度,并取得了较好的效果。但拟牛顿法面临着算法复杂度过高的问题,共轭 梯度法面临着可靠性的问题这些间题仍然值得去硏究 参考文献 [1] Simon Haykin Neural Neworks A Cump rehensive Founda tion[M.北京:清华大学出版社,2001 [2] Martin t hagan, Howard B demuth, Mark h Beale NeuralNetwork Design [M.北京:机械工业出版社,2002 [3]魏海坤.神绎网络结构设计的坦论与方法[M]北京:国防工业出版社,2006 [4] Fletcher. Prac tical methods of op tm ization [M ]. New York: Wiley, 1991 5] David Kincaid, w ard Chene数佰分炘[M]北京:机械工业出版社,2005 The Com pare Between Three Tra i ng A lgor ighm s ofM ultiayer Percep torn s he Yuan-tao. d ENGWei College of Can puter Science and Technology, Suzhou University, Suzhou 215006, China) Abstract: Multilayer Pe rcep tons is a kind of multilayer feed-fo ward netork, it has wo fast training algorighm conjugate grads method and q"new ton method This paper compare the tra in ing speed, tme and space co st of tho se al- gorighm s through classifer exp erment Key words: multilayer percep tion; back p opagation; conjugate grads; gnew tn 回积感回论文写作,论文降重 3 论文格式排版,论文发表 管专业硕博团队,十年论文服务经验 回敬路只scm期利发表,论文润鱼, 上EH 画英文翻译,提供全流程发表支持 全程美籍资深编辑顾问贴心服务 免费论文查重:htp/free.paperyy.com 3亿免费文献下载:htp:/www.ixueshu.com 超值论文自动降重:htp/www.paperyy.com/reducerepetition PPT免费模版下载:hp:/ ppt. ixueshu COm 阅读此文的还阅读了: 1.多层感知器三种学习算法的比较 2.如何学习生江算法之一—一从细节到算法 3.分布式入侵检测系统的学习机制与检测算法 4.同为乡愁风格各异——《乡愁》诗的比较与学习探究 5.排序算法研究 6.基于RBF网络的儿种学匀算法 7.《算法导论(原书第2版)》 Introduction to algorithms 8.一种快速的单层感知器网络学习算法 9.基于C语言实现的若干排序算法和分 10.高中数学与初中数学的比较学习初探 11.高考中的算法问题 12.新课标下"算法初步"教学的"惑"与"获 13.基于动态神经网络的感应电机控制系统 14.时空序列的阶与递归神经网络的学习能力 15.算法学习中要注意的几个问颗 16.防火墙策略不一致性检测算法 17.信息学竞赛解题过稈研究 18.织物疵点特征提取主要算法比较 19.反向误差传播的学习策略 0.不同地形下DEM的坡度坡向算法比较 21.一种基于U—D分解卡尔曼滤波多层感知器学习算法 22.多层感知器的加速算法 23.基于BP算法的多层感知器设计 24.数据挖掘卬的决策树算法比较研究 25. 三种不同内固定方法治疗锁骨骨折的比较 26.复基带信号的几种载频偏估计算法比较 27.翻译在英语教学中的地位和作用 28.一种改进的感知器算法 29.输电线路故障定位各种算法综合比较 30.Tubo译码算法的比较性分析 31.NHI-AMS学习算法的收敛性分析 32.关于重复词句提取的两种算法分析——基于 Suffix tree和重复序列两种算法的实验结果比较 33.基于空间分割算法的自适应多层感知器网络 34.智能学习技术及只应用 35.前馈神经网络的特性分析与应用 36.多层感知器的加速算法 37.试论法语、英语冠词的异同 38.一种基于U-D分解卡尔曼滤波多层感知器学习算法 39.算法初步题型举例 40.人工神经网络几种学习算法的对比 41.算法语句课本例习题探析 42.上市公司财务困境预警比较分析一一基于 Logistic回归和多层感知器的方法 43.路线方案的比较和组合算法研究 44.人体脸谱的自动检测方法初探 45.算法与程序框图考向分析 46.促进学习感悟习得算法经验 47.算法的教学方法例谈 48.针对特定场合的图像恢复算法实验研究 49.一种改进的堆排序并行算法的实现 0.三种经臾作业调度算法适应性比较