没有合适的资源?快使用搜索试试~ 我知道了~
使用脉冲序列进行数据处理的脉冲神经网络具有优异的低功耗特性,但由于学习算法不成熟,多层网络练存在收敛困难的问题。利用反向传播网络具有学习算法成熟和训练速度快的特点,设计一种迁移学习算法。基于反向传播网络完成训练过程,并通过脉冲编码规则和自适应的权值映射关系,将训练结果迁移至脉冲神经网络。实验结果表明,在多层脉冲神经网络中,迁移学习算法能够有效解决训练过程中收敛困难的问题,在 MNIST数据集和 CIFAR-10数据集上的识别准确率分别达到98.56%和56.00俱具有微瓦级别的低功耗特性。
资源推荐
资源详情
资源评论
第 !" 卷#第 $ 期 #
!"#$!"# %"$$ #
计 算 机 工 程
&"'()*+,-./0.++,0./
##
%&%& 年 $ 月
12,34 %&%&
!人工智能与模式识别!
文章编号" !"""#$%&' #&"&"$"$#""Q$#"T ( ( ( 文 献 标 志 码 " )(((中图分类号" *+!'$
基金项目"国家自然科学基金!*',! "$&$ " #
作者简介"尚瑛杰!'**%$" %男 %硕士%主研方向为脉冲神经网络'董丽亚%硕 士 '何 # 虎 %副教 授 #
收稿日期"%&'*5&$5'$ # # 修 回 日 期 "%&'* 5&! 5'( # # -#./01"J4 2. /79') +' "$ $3"'
基于脉冲神经网络的迁移学习算法与软件框架
尚瑛杰!董丽亚!何#虎
! 清华大学 微电子与纳电子学系%北京 '&&&,! "
摘# 要" 使用脉冲序列进行数据处理的脉冲神经网络具有优异的低功耗特性%但由于学习算法不成熟%多层网络训
练存在收敛困难的问题# 利用反向传播网络具有学习算法成熟和训练速度 快的特 点%设计一 种 迁移学 习算法# 基
于反向传播网络完成训练过程%并通过脉冲编码规则和自适应的权值映射关系%将 训 练结果 迁移至 脉 冲神经 网 络#
实验结果表明%在多层脉冲神经网络中%迁移 学 习 算 法 能 够 有 效 解 决 训 练 过 程 中 收 敛 困 难 的问题%在 1%A@M数据
集和 &AC=S5'& 数据集上的识别准确率分别达到 *, $(" !和 (" $&& !%且具有微瓦级别的低功耗特性#
关键词" 脉冲神经网络'迁移学习'反向传播'多层网络'1%A@M数据集'&AC=S5'& 数据集'低功耗
开放科学! 资源服务" 标志码! ?@A<" "
中文引用格式"尚瑛杰%董丽 亚% 何 虎$基 于 脉 冲 神 经 网 络 的 迁 移 学 习 算 法 与 软 件 框 架 ( B) $计 算 机 工 程%%&%&%
!"!$ " *($ 5(*$
英文引用格式"@F=%> E0./90+% <?%> V072% F- F)$M,2.J6+,#+2,.0./ 2#/",0*4' 2.K J"6*82,+6,2'+8",; H2J+K ".
J(0;0./ .+),". .+*8",;( B) $&"'()*+,-./0.++,0./%%&%&%! " !$" *($5(* $
*4/>@964V6/4>0>K )1K840B=. />G289BF/46J4/.6F84<
:/@6G8>2A0<0>K X6348>X6BF84<
@F=%> E0./90+%<?%> V072%F-F)
! <+(2,*'+.*"6103,"+#+3*,".03J2.K %2."+#+3*,".03J%MJ0./ 4)2D.0I +,J0*7%:+090./ '&&&,! %&40.2"
+ )D@B4/;B, @(0;0./ %+),". %+*8",;! @%%" )J+JJ(0;+J+O)+.3+6",K2*2(,"3+JJ0./%J" 0*42J*4++P3+##+. *342,23*+,0J*03
"6#"8 ("8+,3".J)'(*0".$F"8+I+,% K)+*" *4+0''2*),0*7 "6#+2,.0./ 2#/",0*4'%*4+')#*0#27+,.+*8",; *,20.0./ 42J
K06603)#*7 0. 3".I+,/ +.3+$D*0#0N0./ *4+'2*),+#+2,.0./ 2#/",0*4' 2.K 62J**,20.0./ J(++K "6*4+H23; (,"(2/2*0". .+*8",;%
*40J(2(+,(,"("J+J2*,2.J6+,#+2,.0./ 2#/",0*4'$M4+2#/",0*4' 3" '(#+*+J*4+*,20.0./ (,"3+JJH2J+K ". *4+H23;
(,"(2/2*0". .+*8",; 2.K *,2.J6+,J*4+*,20.0./ ,+J)#*J*" *4+J(0;0./ .+),". .+*8",;J*4 ,")/4 *4+J( 0;+3"K0./ ,) #+J2.K
*4+2K2( *0I+8+0/4*'2((0./ ,+#2*0".J40($-P(+,0'+.*2#,+J)#*JJ4"8 *42**4+*,2.J6+,#+2,.0./ 2#/",0*4' 32. +66+3*0I+#7
J"#I+*4+3".I+,/+.3+(,"H#+' 0. *4+*,20.0./ (,"3+JJ"6')#*0#27+,J(0;0./ .+),". .+*8",;J$M4+,+3"/.0*0". 233),237 ".
*4+1%A@MK2*2J+*2.K &AC=S5'& K2*2J+*32. H+)( *" *, $(" ! 2.K (" $&& ! ,+J(+3*0I+#7%80*4 #"8 ("8+,3".J)'(*0".
2**4+'03,"82**#+I+#$
+ E67 F84G@, @(0;0./ %+),". %+*8",;! @%%" '*,2.J6+,#+2,.0./'H23; (,"(2/2*0".'')#*0#27+,.+*8",;'1%A@MK2*2J+*'
&AC=S5'& K2*2J+*'#"8 ("8+,3".J)'(*0".
CHI*'& $'*"), Q9$0JJ.$'&&& 5$!%,$&&(!%&,
"(概述
脉冲神经 网 络 ! @(0;0./ %+),". %+*8",;% @%%"
被称为第三代 人 工 神 经 网 络%它在 原 理 上 更 加 接 近
生物神经网络
(')
%具有低计算量&低功耗和高维度 等
特点%是实现类脑计算和强人工智能的重要途 径
(%)
%
近年来受到 了越 来 越 多的 关 注# 但 是% 由 于 缺 乏 有
效 的 学 习 算 法% 脉 冲 神 经 网 络 的 研 究 还 处 在 探 索
阶段#
目前%脉冲神经 网 络 的 学 习 算 法 主 要 有 基 于 脉
冲时间依 赖 型 可 塑 性 规 则 ! @(0;+M0'0./ <+(+. K+.*
T#2J*030*7%@M<T" 的 无 监 督 学 习 算 法& 基 于 U0K,"85
F"66推 导 的 学 习 算 法 和 基 于 反 向 传 播 的 学 习
算法
($5( )
#
计算机工程
www.ecice06.com
####### 计#算#机#工#程 %&%& 年 $ 月 '( 日
@M<T规 则 描 述 了 脉 冲 神 经 网 络 中 连 接 前 后
% 个神经元之间的因果关系%可以实现权值的无监督
训练%但基于 @M<T规则的学习%通常仅适用于网络
的局部学习%在大规模网络中%存 在计算 量 大和学 习
效率低等问题%需要结合其他 规则进 行 使用
("5) )
# 其
中%文献( , ) 采 用 @M<T& 侧 抑 制 和 内 在 可 塑 性 等 多
种规则%优点是实现了脉冲神经网络的 无监督 训练%
在 1%A@M测试集上的识别准确率为 *( !%缺点是算
法规 则 复 杂% 不 具 备 通 用 性% 无 法 识 别 更 为 复 杂 的
图片#
在基于 U0K," 85F"66推 导 的 学 习 算 法 中% 最 常
用的是 利 用 远 程 监 督 学 习 规 则 ! S+'"*+@)(+,I0J+K
1+*4"K%S+@)1+" 设 计 的 算 法
(*5'& )
# 文 献 ( '' ) 提 出
一种改 进 的 S+@)1+算 法% 可 以 实现 有 效 的 监 督 式
学习%提高了网络的局部学习 精度# 但是%这种学 习
算法对网络中 间 层 监 督 信 号 的 定 义 不 明 确%不 适 用
于多层脉冲神经网络%因此%通常仅用于 处理小 规模
网络%文中也未进行相关数据集识别实验#
基于反向传 播 的学 习 算 法% 也 是 目 前 脉 冲 神 经
网络领域 中 关 注 程 度 较 高 的 一 种 算 法
('% )
# 它 仿 照
传统反向传播 算 法 的 原 理%利用数 学 技 巧回 避 了 离
散脉冲序列无法求导的问题# 文献('$ ) 提出一种新
的方法%将神经元的膜电位看作是可微 信号%并将脉
冲时间的不连 续 点 看 作 是 噪 声% 求 导 结 果直 接 作 用
于脉冲信号和 膜 电 位% 该 方 法 的优 点 在 于成 功 地 将
反向传播算法应用到脉冲 神 经 网 络 中%1%A@M测试
集上的识别准确率为 *, $"" !%但其改变了脉冲神经
网络工作机制%并且计算量大%仿真实施 难度大# 文
献('!) 将反向传 播 算 法 与 @M<T规 则 相 结 合% 并 使
用差分操作代 替 微 分 操 作%从而实 现 了 脉冲 神 经 网
络的反向传播算法%在 1%A@M测试集上的 识别准确
率为 *) $%& !%但该方法需要严格控制神经元的激活
状态%保证它们每个仿真周期只发射一 个脉冲%否则
算法将失效#
脉冲神经网络是进行复杂时空信 息处理 的有效
工具%但其学 习 算 法 存 在 计 算 量 大&学 习 效 率 低&多
层网络收敛困 难 和 适 用 性 弱 等 缺 陷%导 致 脉 冲 神 经
网络无法大 规模 应 用# 然 而%反 向 传 播 网 络 作 为 第
二代神经网络%由于学习算法相对完善%已被广 泛应
用在人工智 能领 域# 为 此%本文 设 计 一 种 迁 移 学 习
算法%将第二 代 神经 网 络 的 训 练 结 果 直 接 迁 移 到 第
三代神经网络 中%以弥 补 脉 冲 神经 网 络 学习 算 法 的
不足%发挥脉冲神经网络低功耗的优势#
!(脉冲神经网络和 X-2*模拟器
!L!(脉冲神经元模型
神经元是神 经 网络 最 基 础 的 元 素%而 脉 冲 神 经
网络由于工作 模 式 的 不 同%脉冲神 经 元 模型 也 与 传
统的神经元模 型 有 着 明 显 的 差 别%其 中 最 为 常 用 的
是泄 漏 积 分 放 电 模 型 ! V+2;7 A.*+/,2*+2.K C0,+%
VAC"
('( 5'" )
%如图 ' 所示#
图 !(VIJ模型和等效电路示意图
J0KL!(2;=6./B0;G0/K4/. 89VIJ.8G61/>G6Y305/16>B;04;30B
##在 VAC模型中%当输入 端 接收到 脉冲信号 时%其
膜电位会不断升高%如果膜电位达到激 发阈值%则会
在输出端产生 一 个 脉 冲 信 号%同时 将 神 经元 膜 电 位
重置'如果长 时 间没 有 输 入 脉 冲 信 号 或 者 输 入 脉 冲
信号较弱%VAC神经元的膜电位会缓慢降低至初始 电
位
(') )
# 因此%VAC模 型 可 以 等 效 为一 个 带 有 偏 置 电
压源的电阻5电容并联模型#
!L&(脉冲神经网络
脉冲神 经 网 络 在 结 构 方 面 与 反 向 传 播 网 络 类
似%由脉冲神 经 元 及 其 连 接 组 成# 但 是 脉 冲 神 经 网
络的输入输出不是实数值%而是离散 的脉冲信 号%网
络中信息的表 达&传输 和 处 理 也都 是 基 于脉 冲 序 列
进行的
(', 5'* )
%如图 % 所示#
图 &(脉冲神经网络模型
J0KL& ( U8G6189@A0<0>K >6348>>6BF84<
!L$(X-2*模拟器
%-@M是一款面向脉冲神经网络的开源模拟器%
其提供了大量 的 神 经 元 模 型 和 突 触 模 型% 避 免 了 繁
琐的数学建 模工 作# 同 时%脉冲 神 经 元 模 型 的 设 计
参考了生物学 相 关 研 究 成 果%具有 很 强 的生 物 可 解
释性# 本文基于 %-@M模拟器%使用 T7*4". 编程%提
供了快速搭建脉冲神经网络的软件环境#
&(迁移学习算法
迁移学习算 法 的整 体 步 骤 为*构 建 相 同 结 构 的
反向传播网络 和 脉 冲 神 经 网 络% 利 用 反 向传 播 网 络
成熟的算法和 仿 真 环 境 对 权 值 进 行 训 练% 然 后 通 过
权值映射关系将训练好的权值参数迁 移到脉 冲神经
网络中# 脉冲 神 经 网 络 只完 成 推 理 工 作%不 涉 及 训
练过程#
!(
计算机工程
www.ecice06.com
剩余6页未读,继续阅读
资源评论
weixin_38528680
- 粉丝: 8
- 资源: 876
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功