卷积神经网络算法模型的压缩与加速算法比较1
需积分: 0 143 浏览量
2022-08-04
14:19:58
上传
评论
收藏 2.42MB PDF 举报
2019 年第 11 期
信息与电脑
China Computer & Communication
算法语言
卷积神经网络算法模型的压缩与加速算法比较
李思奇
（北京物资学院，北京 101149）
摘 要：
随着深度学习网络的不断发展，卷积神经网络在图像识别与处理领域的正确率已达到甚至超越人类水平。
但是，越来越复杂的网络结构导致庞大的计算模型体积和计算量，不利于模型的移植利用。基于此，分别介绍了网络压
缩加速的典型方法并进行比较，在保证算法准确率损失最少的前提下，尽可能使算法具有可移植性，充分体现卷积神经
网络算法的应用价值。
关键词：
卷积神经网络；网络压缩；网络加速；模型移植
中图分类
号：TP18 文献标识码：A 文章编号：1003-9767（2019）11-021-03
Comparison of Compression and Acceleration Algorithms for Convolutional
Neural Network Model
Li Siqi
(Beijing Wuzi University, Beijing 101149, China)
Abstract:
With the continuous development of deep learning network, the accuracy of convolutional neural network in image
recognition and processing has reached or even surpassed human level. However, more and more complex network structure leads to
huge computing model volume and computation, which is not conducive to the transplantation and utilization of the model. Based on
this, the typical methods of network compression and acceleration are introduced and compared. On the premise of guaranteeing the
least loss of accuracy, the algorithm can be transplanted as far as possible, which fully reflects the application value of convolutional
neural network algorithm.
Key words:
convolutional neural network; network compression; network acceleration; model transplantation
0 引言
目前，深度神经网络已被广泛应用于众多领域，尤其在
图像处理领域，基于卷积神经网络的模型训练效果明显优于
其他传统方法。但是，模型复杂度不断提高，有限的存储空
间和计算能力成为进一步训练大规模任务的瓶颈。因此，如
何使神经网络具有可移植性，在更多的应用场景下体现价值，
成为了研究重点之一。
1 模型压缩方法介绍
如果想要在移动平台上运用卷积神经网络模型，有两
个关键点，一个是模型参数要少，一个是运行时间短。深度
神经网络的加速方法主要包括两大类，硬件加速和软件加
速。硬件加速对算法的改动较小，如结构优化，通过整型数
据代替浮点数数据，减小模型体积，或使用专门应用于深度
学习领域的硬件。软件加速通过修改原始模型实现结果，分
为两类，压缩结构和压缩参数。本文主要研究基于软件的模
型加速方法。
1.1 基于压缩结构的模型加速方法
压缩结构的方法是基于现有卷积神经网络结构修改原始
模型的卷积运算，重新设计网络结构，实现减少参数量和降
低计算复杂性的目标。设计轻量级网络模型的核心是设计一
种更有效的“网络计算方法”，主要用于卷积方法，从而减
少网络计算量和参数，且不损失网络性能
[1]
。
1.1.1 标准卷积操作
卷积神经网络的基础是标准卷积，其是卷积神经网络最
基本的运算。假设
H
×
W
表示输入特征空间尺寸，
H
和
W
分
别代表特征图的高度和宽度，输入和输出特征空间尺寸不变，
N
是输入特征通道数，
K
×
N
表示卷积核尺寸，卷积核的数
量表示输出特征图通道数，用
M
表示。因为每个通道卷积运
算后都要对结果求和，所以该值和每个通道特征都有关。标
准卷积计算量是
HWNK
2
M
，标准卷积层的参数量为
K
2
MN
。
作者简介：
李思奇 (1993—)，男，河北保定人，硕士研究生在读。研究方向：深度学习网络压缩与加速。
— 21 —
评论0