面向嵌入式应用的深度神经网络模型压缩技术综述(2019-09-11-18-57_read)1
需积分: 0 51 浏览量
2022-08-04
14:54:30
上传
评论 1
收藏 355KB PDF 举报
第
４１
卷 第
６
期
２０１７
年
１２
月
北
京
交
通
大
学
学
报
ＪＯＵＲＮＡＬ
ＯＦ
ＢＥＩＪＩＮＧ
ＪＩＡＯＴＯＮＧ
ＵＮＩＶＥＲＳＩＴＹ
Ｖｏｌ．４１Ｎｏ．６
Ｄｅｃ．２０１７
收稿日期
：
２０１７
－
１１
－
１０
基金项目
：
国家自然科学基金
（
６１５７２０６５
）
Ｆｏｕｎｄａｔｉｏｎ
ｉｔｅｍ
：
Ｎａｔｉｏｎａｌ
Ｎａｔｕｒａｌ
Ｓｃｉｅｎｃｅ
Ｆｏｕｎｄａｔｉｏｎ
ｏｆ
Ｃｈｉｎａ
（
６１５７２０６５
）
第一作者
：
王磊
（
１９８６
—），
男
，
山东聊城人
，
高级工程师
，
博士
．
研究方向为人工智能与模式识别和智能导引头
．ｅｍａｉｌ
：
ｗｌｔｏｎ
ｇ
ｘｉｎ
ｇ
＠
１６３．ｃｏｍ．
引用格式
：
王磊
，
赵英海
，
杨国顺
，
等
．
面向嵌入式应用的深度神经网络模型压缩技术综述
［
Ｊ
］
．
北京交通大学学报
，
２０１７
，
４１
（
６
）：
３４－４１．
ＷＡＮＧ
Ｌｅｉ
，
ＺＨＡＯ
Ｙｉｎ
ｇ
ｈａｉ
，
ＹＡＮＧ
Ｇｕｏｓｈｕｎ
，
ｅｔ
ａｌ．Ａ
ｓｕｒｖｅ
ｙ
ｏｎ
ｍｏｄｅｌ
ｃｏｍ
ｐ
ｒｅｓｓｉｏｎ
ｏｆ
ｄｅｅ
ｐ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋ
ｆｏｒ
ｅｍｂｅｄｄｅｄ
ｓ
ｙ
ｓ
－
ｔｅｍ
［
Ｊ
］
．Ｊｏｕｒｎａｌ
ｏｆ
Ｂｅｉ
ｊ
ｉｎ
ｇ
Ｊｉａｏｔｏｎ
ｇ
Ｕｎｉｖｅｒｓｉｔ
ｙ
，
２０１７
，
４１
（
６
）：
３４－４１．
（
ｉｎ
Ｃｈｉｎｅｓｅ
）
文章编号
：
１６７３
－
０２９１
（
２０１７
）
０６
－
００３４
－
０８
ＤＯＩ
：
１０．１１８６０
／
ｊ
．ｉｓｓｎ．１６７３－０２９１．２０１７．０６．００６
面向嵌入式应用的深度神经网络模型压缩技术综述
王
磊
，
赵英海
，
杨国顺
，
王若琪
（
中国航天科工集团三十五研究所
，
北京
１０００１３
）
摘
要
：
结合大数据的获取
，
深度神经网络关键技术广泛应用于图像分类
、
物体检测
、
语音识别和自然
语言处理等领域
．
随着深度神经网络模型性能不断提升
，
模型体积和计算需求提高
，
以致其依赖高功
耗的计算平台
．
为解决在实时嵌入式系统中的存储资源和内存访问带宽的限制
，
以及计算资源相对不
足的问题
，
开展嵌入式应用的深度神经网络模型压缩技术研究
，
以便缩减模型体积和对存储空间的需
求
，
优化模型计算过程
．
对模型压缩技术进行分类概述
，
包括模型裁剪
、
精细化模型设计
、
模型张量分
解和近似计算和模型量化等
，
并对发展状况进行总结
．
为深度神经网络模型压缩技术的研究提供参考
．
关键词
：
深度神经网络
；
模型压缩
；
模型裁剪
；
张量分解
；
嵌入式系统
中图分类号
：
ＴＰ３９１．４
文献标志码
：
Ａ
Ａ
ｓｕｒｖｅ
ｙ
ｏｎ
ｍｏｄｅｌ
ｃｏｍ
ｐ
ｒｅｓｓｉｏｎ
ｏｆ
ｄｅｅ
ｐ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋ
ｆｏｒ
ｅｍｂｅｄｄｅｄ
ｓ
ｙ
ｓｔｅｍ
ＷＡＮＧ
Ｌｅｉ
，
ＺＨＡＯ
Ｙｉｎ
ｇ
ｈａｉ
，
ＹＡＮＧ
Ｇｕｏｓｈｕｎ
，
ＷＡＮＧ
Ｒｕｏ
ｑ
ｉ
（
Ｔｈｅ
３５ｔｈ
Ｒｅｓｅａｒｃｈ
Ｉｎｓｔｉｔｕｔｅ
ｏｆ
Ｃｈｉｎａ
Ａｅｒｏｓ
ｐ
ａｃｅ
Ｓｃｉｅｎｃｅ
ａｎｄ
Ｉｎｄｕｓｔｒ
ｙ
Ｃｏｒ
ｐ
．
，
Ｂｅｉ
ｊ
ｉｎ
ｇ
１０００１３
，
Ｃｈｉｎａ
）
Ａｂｓｔｒａｃｔ
：
Ｃｏｍｂｉｎｅｄ
ｔｈｅ
ｂｉ
ｇ
ｄａｔａ
ａｃ
ｑ
ｕｉｓｉｔｉｏｎ
，
ｔｈｅ
ｋｅ
ｙ
ｔｅｃｈｎｏｌｏ
ｇ
ｉｅｓ
ｏｆ
ｄｅｅ
ｐ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋ
ｈａｖｅ
ｗｉｄｅｌ
ｙ
ａ
ｐｐ
ｌｉｅｄ
ｉｎ
ｔｈｅ
ｆｉｅｌｄ
ｏｆ
ｉｍａ
ｇ
ｅ
ｃｌａｓｓｉｆｉｃａｔｉｏｎ
，
ｏｂ
ｊ
ｅｃｔ
ｄｅｔｅｃｔｉｏｎ
，
ｓ
ｐ
ｅｅｃｈ
ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
ｎａｔｕｒａｌ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ｐ
ｒｏｃｅｓｓｉｎ
ｇ
，
ｅｔ
ａｌ．Ｗｉｔｈ
ｔｈｅ
ｄｅｖｅｌｏ
ｐ
ｉｎ
ｇ
ｏｆ
ｔｈｅ
ｄｅｅ
ｐ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋ
ｍｏｄｅｌ
ｐ
ｅｒｆｏｒｍａｎｃｅ
，
ｔｈｅ
ｍｏｄｅｌ
ｓｉｚｅ
ａｎｄ
ｔｈｅ
ｒｅ
ｑ
ｕｉｒｅｄ
ｃａｌｃｕｌａｔｉｏｎ
ｎｅｅｄ
ｔｏ
ｂｅ
ｉｍ
ｐ
ｒｏｖｅｄ
，
ｓｏ
ｔｈａｔ
ｉｔ
ｉｓ
ｒｅｌｉａｎｃｅ
ｏｎ
ｈｉ
ｇ
ｈ
ｐ
ｏｗｅｒ
ｃｏｍ
ｐ
ｕｔｉｎ
ｇ
ｐ
ｌａｔｆｏｒｍ．Ｔｈｉｓ
ｐ
ａ
ｐ
ｅｒ
ｉｓ
ｆｏｃｕｓ
ｏｎ
ｔｈｅ
ｄｅｅ
ｐ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋ
ｍｏｄｅｌ
ｃｏｍ
ｐ
ｒｅｓｓｉｏｎ
ｔｅｃｈｎｏｌｏ
ｇｙ
ｆｏｒ
ｅｍｂｅｄｄｅｄ
ａ
ｐｐ
ｌｉｃａｔｉｏｎｓ
ｉｎ
ｏｒｄｅｒ
ｔｏ
ｓｏｌｖｅ
ｔｈｅ
ｐ
ｒｏｂｌｅｍｓ
ｏｆ
ｓｔｏｒａ
ｇ
ｅ
ｒｅｓｏｕｒｃｅ
，
ｍｅｍｏｒ
ｙ
ａｃｃｅｓｓ
ｓ
ｐ
ｅｅｄ
ｃｏｎｓｔｒａｉｎｔｓ
ａｎｄ
ｃｏｍ
ｐ
ｕｔｉｎ
ｇ
ｒｅｓｏｕｒｃｅｓ
ｌｉｍｉｔ
ｉｎ
ｅｍｂｅｄｄｅｄ
ｓ
ｙ
ｓｔｅｍ．Ｉｔ
ａｉｍｓ
ｔｏ
ｒｅｄｕｃｅ
ｔｈｅ
ｍｏｄｅｌ
ｓｉｚｅ
ａｎｄ
ｔｈｅ
ｃｏｍ
ｐ
ｌｅｘ
ｃｏｍ
ｐ
ｕｔａｔｉｏｎ．Ｍｅａｎｗｈｉｌｅ
，
ｉｔ
ｃｏｕｌｄ
ｏ
ｐ
ｔｉｍｉｚｅ
ｔｈｅ
ｐ
ｒｏｃｅｓｓ
ｏｆ
ｃａｌｃｕｌａｔｉｏｎ．
Ｔｈｉｓ
ｐ
ａ
ｐ
ｅｒ
ｈａｓ
ｓｕｍｍａｒｉｚｅｄ
ｔｈｅ
ｓｔａｔｅ
－
ｏｆ
－
ｔｈｅ
－
ａｒｔ
ｍｏｄｅｌ
ｃｏｍ
ｐ
ｒｅｓｓｉｏｎ
ｔｅｃｈｎｏｌｏ
ｇ
ｉｅｓ
ｉｎｃｌｕｄｉｎ
ｇ
ｍｏｄｅｌ
ｐ
ｒｕｎｉｎ
ｇ
，
ｆｉｎｅ
ｍｏｄｅｌ
ｄｅｓｉ
ｇ
ｎｉｎ
ｇ
，
ｔｅｎｓｏｒ
ｄｅｃｏｍ
ｐ
ｏｓｉｔｉｏｎ
，
ｍｏｄｅｌ
ｑ
ｕａｎｔｉｚａｔｉｏｎ
，
ｅｔｃ．Ｔｈｒｏｕ
ｇ
ｈ
ｔｈｅ
ｓｕｍｍａｒ
ｙ
ｏｎ
ｔｈｅ
ｍｏｄｅｌ
ｄｅｖｅｌｏ
ｐ
ｍｅｎｔ
，
ｉｔ
ｃｏｕｌｄ
ｐ
ｒｏｖｉｄｅ
ｔｈｅ
ｒｅｆｅｒｅｎｃｅｓ
ｆｏｒ
ｔｈｅ
ｓｔｕｄｉｅｓ
ｏｆ
ｔｈｅ
ｄｅｅ
ｐ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋ
ｍｏｄｅｌ
ｃｏｍ
ｐ
ｒｅｓｓｉｏｎ
ｔｅｃｈｎｏｌｏ
ｇ
ｉｅｓ．
Ｋｅ
ｙ
ｗｏｒｄｓ
：
ｄｅｅ
ｐ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋ
；
ｍｏｄｅｌ
ｃｏｍ
ｐ
ｒｅｓｓｉｏｎ
；
ｍｏｄｅｌ
ｐ
ｒｕｎｉｎ
ｇ
；
ｔｅｎｓｏｒ
ｄｅｃｏｍ
ｐ
ｏｓｉｔｉｏｎ
；
ｅｍ
－
ｂｅｄｄｅｄ
ｓ
ｙ
ｓｔｅｍ
丽龙
- 粉丝: 25
- 资源: 332
最新资源
- Java项目-电影院售票管理系统(java+Servlet+JSP+JDBC+Mysql)
- SSM整合开发-图书管理系统
- 计二202301020210蒋怡.zip
- 基于74LS160的70进制计数器仿真节线图
- 基于74LS160的30进制与70进制转化仿真节线图
- 【用360解压工具解压】springboot+vue实验室(预约)管理系统【www.java1234.com】.zip
- commodity.cpp
- WordPress主题JustNews v6.01自适应自媒体博客主题免授权
- C语言开发小游戏案例 - 弹跳球
- Delphi 12 控件之TMS VCL UI Pack v13.1.3.2.7z
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0