没有合适的资源?快使用搜索试试~ 我知道了~
基于误差限制的神经网络混合精度量化方法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 51 浏览量
2022-12-15
14:29:36
上传
评论
收藏 266KB DOCX 举报
温馨提示
![preview](https://dl-preview.csdnimg.cn/87292819/0001-e9a54d12ba02368473a729c279e7b1ec_thumbnail-wide.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
13页
基于误差限制的神经网络混合精度量化方法.docx
资源推荐
资源详情
资源评论
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/release/download_crawler_static/87292819/bg1.jpg)
0. 引 言
近年来,基于卷积神经网络(Convolutional Neural Networks, CNN)的深度学习方法
受到了学术界和工业界的关注,在目标分类、目标检测等方面得到了广泛的应用,已经成
为各种计算机视觉任务的主流方法。随着数据集规模的扩大、硬件设备的发展,可处理卷
积神经网络模型的层数也在不断增加,例如,从 AlexNet
[1]
、VGGNet
[2]
、GoogleNet 到
ResNet
[3]
,ILSVRC 挑战赛的冠军模型已经从 8 层提升到 100 多层。随着层数的加深,模型
参数规模与计算强度也随之增大增强。一个 50 层的残差网络有超过 2550 万个参数,模型
推理时计算量更是达到 4 GFLOP 以上。如此庞杂的参数量与数据量为其在带宽与存储受限
的边缘设备上部署平添了诸多问题。主要包括:
(1)模型大小的限制:深度学习卷积网络模型中数百万个可训练参数成就了其强大
的检测能力。例如,存储一个经过训练的语义分割 DeepLabV3+模型会占用超过 100 MB 内
存空间,这对硬件设备是一个巨大的资源负担。
(2)运行内存:在推理过程中,CNN 的卷积操作中间变量会占用更多的内存空间,
普通硬件设备难以支撑。
(3)计算用时:在对高分辨率图像进行密集卷积操作时,硬件设备往往延时较高,
难以在较低功耗下实现实时的结果预测。
参数量化通过减少神经网络参数值所需的数据位宽来压缩原始网络。且量化后,低精
度定点乘累加运算(Multiply Accumulate,MAC)可以替代浮点运算以降低资源开销与硬
件能耗。Vanhoucke 等人
[4]
的研究表明,8 位推理运算能够在提升速度的同时保证最小的模
型精度损失。目前主流的量化方法大多数采用统一精度量化,如统一 16 位量化方法
[5]
、谷
歌 8 位量化方法
[6]
,将网络模型各层的权重和激活数据量化至相同的位宽。但不同卷积层
中参数的分布范围和冗余度都不相同,如图 1(b)中展示了 YOLOV5 s 网络前 20 层中的
权重参数分布。可以看出,各层的权重最值分布有较大的差异,第 1 层的权重最大值约为
第 3 层的 25 倍。因此一些研究者提出了差异位宽分布的混合精度量化方法。如零样本量化
框架(a novel zero shot quantization framework, ZeroQ)方法
[7]
、强化学习量化策略搜索方法
[8-9]
等,通过奖励函数设置不同卷积层的量化位宽,训练得到最优分配策略。
![](https://csdnimg.cn/release/download_crawler_static/87292819/bg3.jpg)
图 1 (a)深度学习卷积 8 位量化过程
[6]
;(b)YOLOV5 s 网络前 20 层权重最值分布趋
势;(c)YOLOV5 s 网络量化过程中的激活最大值与截断值分布
Fig. 1 (a) Photograph of deep learning convolutional 8-bit quantization procession
[6]
; (b) The
distribution trend of the most valued weights in the first 20 layers of the YOLOV5 s network; (c)
Distribution of activation maximum and cutoff value during network quantization in YOLOV5 s
下载: 全尺寸图片 幻灯片
文中对比了不同量化方法在 VOC2007 数据集上的表现,选择合适的量化方法,通过
对各层的放缩因子进行统一等比限制,得到了合适的网络模型分层量化方法,并依据该方
法对权重和激活值进行混合截断量化,取得了更高的准确率。文中的工作包含以下方面:
(1) 通过对比移位量化形式与乘积量化形式、无截断量化方法与基于均方误差的截断
量化方法,选择最优方法作为文中的实现方法;
(2) 提出基于误差限制的量化搜索策略,不同于强化学习或策略搜索等方法,文中方
法具有更低的复杂度与更高的普遍性,可快速获取分层量化策略;
(3) 根据混合精度分层量化策略对 YOLOV5 s 网络中不同卷积层数据进行混合截断量
化,并使用 VOC2007 数据集进行对比实验;
(4) 在 COCO 数据集和 VOC2011 数据集上使用 YOLOV5 s 网络对混合精度量化方法
进行测试。
1. 神经网络压缩方法
目前,深度学习神经网络的主流压缩和加速方法主要有两类:模型剪枝、参数量化
[10]
。
1.1 模型剪枝
模型剪枝是深度学习神经网络模型中应用最为广泛的压缩与加速方法,基本思想是通
过对训练后的 CNN 模型进行稀疏化操作,剪除冗余的、信息量较少的参数值,达到压缩
模型大小的目的。在 2015 年,Chen 等人
[11]
提出了 HashedNets 模型,引入哈希函数并根据
参数间汉明距离重组权重,实现参数共享,是典型的非结构化剪枝方法。然而,非结构化
剩余12页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/3f07197aad004e4fa57ac5a008eb6aaf_weixin_57147647.jpg!1)
罗伯特之技术屋
- 粉丝: 3958
- 资源: 1万+
![benefits](https://csdnimg.cn/release/downloadcmsfe/public/img/vip-rights-1.c8e153b4.png)
下载权益
![privilege](https://csdnimg.cn/release/downloadcmsfe/public/img/vip-rights-2.ec46750a.png)
C知道特权
![article](https://csdnimg.cn/release/downloadcmsfe/public/img/vip-rights-3.fc5e5fb6.png)
VIP文章
![course-privilege](https://csdnimg.cn/release/downloadcmsfe/public/img/vip-rights-4.320a6894.png)
课程特权
![rights](https://csdnimg.cn/release/downloadcmsfe/public/img/vip-rights-icon.fe0226a8.png)
开通VIP
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)