没有合适的资源?快使用搜索试试~ 我知道了~
基于深层卷积神经网络的剪枝优化

温馨提示


试读
6页
随着近几年来深度学习的兴起,其在目标检测、图像分类、语音识别、自然语言处理等机器学习领域都取得了重大的突破,其中以卷积神经网络在深度学习中的运用较多。自VGGNet出现以来,深度学习逐渐向深层的网络发展,网络越来越深,这不仅增大了对硬件平台存储、运行内存的需求,还大大增加了计算量,对硬件平台资源的要求越来越高。因此将深度学习应用于嵌入式平台尤为困难。对此,通过对模型进行剪枝的方法将训练好的网络模型压缩处理,在基本保证准确率的情况下去除不重要的参数,缩减模型,减小网络的计算复杂度,将深度学习应用于嵌入式平台。
资源推荐
资源详情
资源评论













基于深层卷积神经网络的剪枝优化基于深层卷积神经网络的剪枝优化
随着近几年来深度学习的兴起,其在目标检测、图像分类、语音识别、自然语言处理等机器学习领域都取得了
重大的突破,其中以卷积神经网络在深度学习中的运用较多。自VGGNet出现以来,深度学习逐渐向深层的网络
发展,网络越来越深,这不仅增大了对硬件平台存储、运行内存的需求,还大大增加了计算量,对硬件平台资
源的要求越来越高。因此将深度学习应用于嵌入式平台尤为困难。对此,通过对模型进行剪枝的方法将训练好
的网络模型压缩处理,在基本保证准确率的情况下去除不重要的参数,缩减模型,减小网络的计算复杂度,将
深度学习应用于嵌入式平台。
0 引言引言
深度学习起源于人工神经网络,后来LECUN Y提出了卷积神经网络LeNet-5
[1]
,用于手写数字识别,并取得了较好的成绩,
但当时并没有引起人们足够的注意。随后BP算法被指出梯度消失的问题,当网络反向传播时,误差梯度传递到前面的网络层
基本接近于0,导致无法进行有效的学习。2006年HINTON G E提出多隐层的网络可以通过逐层预训练来克服深层神经网络在
训练上的困难
[2]
,随后深度学习迎来了高速发展期。一些新型的网络结构不断被提出(如AlexNet、VGGNet、GoogleNet、
ResNet等),网络结构不断被优化,性能不断提升,用于图像识别可以达到很好的效果。然而这些网络大都具有更多的网络
层,对计算机处理图像的能力要求很高,需要更多的计算资源,一般使用较好的GPU来提高训练速度,不利于在硬件资源
(内存、处理器、存储)较低的设备运行,具有局限性。
深度学习发展到目前阶段,其研究大体可以分为两个方向:(1)设计复杂的网络结构,提高网络的性能;(2)对网络模型进行
压缩,减少计算复杂度。在本文将讨论第二种情况,去除模型中冗余的参数,减少计算量,提高程序运行速度。
目前很多网络都具有更复杂的架构设计,这就造成网络模型中存在很多的参数冗余,增加了计算复杂度,造成不必要的计
算资源浪费。模型压缩大体有以下几个研究方向:(1)设计更为精细的网络结构,让网络的性能更为简洁高效,如MobileNet网
络
[3]
;(2)对模型进行裁剪,越是结构复杂的网络越存在大量参数冗余,因此可以寻找一种有效的评判方法,对训练好的模型
进行裁剪;(3)为了保持数据的精度,一般常见的网络模型的权重,通常将其保存为32 bit长度的浮点类型,这就大大增加了数
据的存储和计算复杂度。因此,可以将数据进行量化,或者对数据二值化,通过数据的量化或二值化从而大大降低数据的存
储。除此之外,还可以对卷积核进行核的稀疏化,将卷积核的一部分诱导为0,从而减少计算量
[4]
。
本文着重讨论第二种方法,对模型的剪枝,通过对无用权重参数的裁剪,减少计算量。
1 CNN卷积神经网络卷积神经网络
卷积神经网络是一种前馈式网络,网络结构由卷积层、池化层、全连接层组成
[5]
。卷积层的作用是从输入层提取特征图,给
定训练集:
在卷积层后面一般会加一个池化层,池化又称为降采样,池化层可以用来降低输入矩阵的纬度,而保存显著的特征,池化
分为最大池化和平均池化,最大池化即给出相邻矩阵区域的最大值。池化层具有减小网络规模和参数冗余的作用。
2 卷积神经网络剪枝卷积神经网络剪枝
资源评论

- jililover6002021-06-11你好,必须要解压密码。
- activissnenm2021-03-25深度学习模型部署与剪枝优化实例 网盘地址:https://pan.baidu.com/s/1IlcL7J4DnmUbiO0cdP_Rig 提取码:3hym 备用地址(腾讯微云):https://share.weiyun.com/OOGsYMUh 密码:e47v5t

weixin_38547397
- 粉丝: 2
- 资源: 907
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


安全验证
文档复制为VIP权益,开通VIP直接复制
