album 精选学习资源，大学生必学！

基于灵敏度分析法的ELM剪枝算法

preview
试读
6页
需积分: 0 3 下载量 96 浏览量 更新于2021-01-14 1 收藏 192KB PDF 举报
<p>针对极端学习机(ELM) 网络结构设计问题, 提出基于灵敏度分析法的ELM剪枝算法. 利用隐含层节点输出和相对应的输出层权值向量, 定义学习残差对于隐含层节点的灵敏度和网络规模适应度, 根据灵敏度大小判断隐含层节点的重要性, 利用网络规模适应度确定隐含层节点个数, 删除重要性较低的节点. 仿真结果表明, 所提出的算法能够较为准确地确定与学习样本相匹配的网络规模, 解决了ELM网络结构设计问题.</p>
第 29 卷 第 6 期
Vol. 29 No. 6
控 制 与 决 策
Control and Decision
2014 年 6 月
Jun. 2014
基于灵敏度分析法的 ELM 剪枝算法
文章编号: 1001-0920 (2014) 06-1003-06 DOI: 10.13195/j.kzyjc.2013.0306
李凡军
1,2
, 韩红桂
1
, 乔俊飞
1
(1. 北京工业大学 电子信息与控制工程学院，北京 100124；2. 济南大学 数学科学学院，济南 250022)
摘 要: 针对极端学习机 (ELM) 网络结构设计问题, 提出基于灵敏度分析法的 ELM 剪枝算法. 利用隐含层节点输出
和相对应的输出层权值向量, 定义学习残差对于隐含层节点的灵敏度和网络规模适应度, 根据灵敏度大小判断隐含
层节点的重要性, 利用网络规模适应度确定隐含层节点个数, 删除重要性较低的节点. 仿真结果表明, 所提出的算法
能够较为准确地确定与学习样本相匹配的网络规模, 解决了 ELM 网络结构设计问题.
关键词: 前馈神经网络；极端学习机；灵敏度分析；剪枝算法
中图分类号: TP273 文献标志码: A
Pruning algorithm for extreme learning machine based on sensitivity
analysis
LI Fan-jun
1,2
, HAN Hong-gui
1
, QIAO Jun-fei
1
(1. College of Electronic Information and Control Engineering，Beijing University of Technology，Beijing 100124,
China；2. School of Mathematical Science，Ji’nan University，Ji’nan 250022，China．Correspondent：QIAO Jun-
fei，E-mail：junfeiq@bjut.edu.cn)
Abstract: In order to design the structure of extreme learning machine(ELM), a pruning algorithm is proposed by using
the sensitivity analysis method. The residual error’s sensitivities to the hidden nodes are defined by their outputs and weight
vectors connecting to the output layer. The model scale adaptability is calculated and the hidden nodes are sorted by using
the defined sensitivities. Then, the number of requisite hidden nodes is estimated by the model scale adaptability. The
redundant nodes with smaller sensitivities are removed from the existent network. The simulation results show that the
proposed approach can construct the compact structure for ELM effectively.
Key words: feedforward neural networks；extreme learning machine；sensitivity analysis；pruning algorithm
0 引引引 言言言
针对单隐含层前馈神经网络 (SLFNs), 文献 [1-2]
提出了 ELM 算法. 该算法随机选取输入层权值和阈
值, 并保持不变, 采用最小二乘法求得输出层权值. 与
传统的梯度下降算法相比, ELM 算法具有更快的学
习速度、较强的学习和泛化能力, 在理论研究和实际
应用等诸多领域引起了人们的广泛关注
[3-6]
.
ELM 算法惟一需要设定的参数是隐含层节点个
数, 往往需要比传统方法更高维数的网络结构才能达
到较好的学习效果
[6]
. 而隐含层节点过多容易产生过
拟合现象, 影响网络的泛化能力
[7-9]
. 如何设计与学习
样本相匹配的网络结构是 ELM 算法需要解决的问题.
剪枝算法是前馈神经网络结构设计的有效方
法
[6-9]
, 该类算法首先构造一个足够大的网络, 然后通
过训练删除或合并某些节点或权值, 实现设计紧凑网
络结构的目的. 文献 [6] 提出基于替代函数和贝叶斯
框架的 1 范数 ELM 算法 (N1-ELM), 在二次损失函数
基础上引入 1 范数正则项, 使部分对网络影响较小的
输出层权值逐渐趋近于零, 当隐含层节点的输出层权
值小于某一给定阈值时, 将该节点删除. N1-ELM 算法
在保持较高测试精度的同时, 能够有效简化网络结构.
但 N1-ELM 算法主要适用于回归问题, 且计算量较大,
学习时间较长. 针对分类问题, Rong 等
[7]
提出 ELM 剪
枝算法 (P-ELM), 以概率的方法计算隐含层节点与样
本类别的相关性, 剔除不相关和相关性较小的隐含
层节点, 在保持较高分类准确率的前提下, 能够得到
收稿日期: 2013-03-22；修回日期: 2013-06-22.
基金项目: 国家自然科学基金项目(61034008, 61203099, 61225016)；北京市自然科学基金项目(4122006)；教育部博士
点新教师基金项目(20121103120020).
作者简介: 李凡军(1977−), 男, 博士生, 从事智能信息处理的研究；乔俊飞(1968−), 男, 教授, 博士生导师, 从事智能控
制与智能信息处理等研究.

下载后可阅读完整内容，剩余5页未读，立即下载

资源推荐
资源评论
weixin_38688969
  • 粉丝: 3
  • 资源: 939
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

最新资源