轻量化神经网络篇（SqueezeNet、Xception、MobileNet、ShuffleNet）
版权申诉
5星 · 超过95%的资源 185 浏览量
2021-01-20
11:42:48
上传
评论 2
收藏 920KB PDF 举报 
轻量化神经网络篇（轻量化神经网络篇（SqueezeNet、、Xception、、MobileNet、、ShuffleNet））
写在前面：此文只记录了下本人感觉需要注意的地方，不全且不一定准确。详细内容可以参考文中帖的链接，比较好！！！
最近看的轻量化神经网络：SqueezeNet、Xception、MobileNet、ShuffleNet
时间轴时间轴
2016.02 伯克利&斯坦福提出 SqueezeNet
2016.10 google提出 Xception
2017.04 google提出 MobileNet
2017.07 face++提出 ShuffleNet
模型轻量化的方法模型轻量化的方法
卷积核分解：使用1xN和NX1卷积核代替NXN卷积核；
使用深度压缩deep compression方法：网络剪枝、量化、哈弗曼编码；
奇异值分解；
硬件加速器；
低精度浮点数保存；
小模型的好处：小模型的好处：
在分布式训练中，与服务器通信需求小；
参数少，从云端下载模型的数量少；
更适合在嵌入式、移动设备上部署；
几种模型小结：几种模型小结：
SqueezeNet，提出了fire module【使用 1×1 卷积卷积核替换替换部分 3×3 卷积核卷积核，减少参数量；同时在squeeze阶段，限制限制 input feature map的channel数数，又一次减少参数】。在整
体网络模型中减少减少pooling，平均每3个fire module后有一个max pooling，分类前的全连接层替换成average pooling。
Xception，参差结构参差结构+可分离卷积（可分离卷积（Separable Convolution））【对每一个通道先进行 1×1 卷积，再进行 3×3 卷积】。在Inception v3模型上改进， 参数量没减少，精度提高。
MobileNet，宽度宽度\分辨率因子分辨率因子 + 深度可分离卷积（深度可分离卷积（Depthwise Separable Convolution））【对每一个通道先进行 3×3 卷积，再进行 1×1 卷积】。参数量下降
ShuffleNet，深度可分离卷积深度可分离卷积+分组卷积分组卷积+shuffle机制机制 。借鉴Resnext的分组卷积分组卷积思想，不过全部只用1×1卷积核卷积核，减少参数量；加入了shuffle机制机制（通道清洗），加强了通道间
的信息流通，一定程度上缓解了由于分组卷积导致的通道关系损失。
1. SqueezeNet
设计原则设计原则
替换3×3的卷积kernel为1×1的卷积kernel
减少输入3×3卷积的input feature map数量
减少pooling
Fire Module
Fire Module是本文的核心构件，思想非常简单，就是将原来简单的一层conv层变成两层：squeeze层+expand层，各自带上Relu激活层。在squeeze层里面全是1×1的卷积
kernel，数量记为S11；在expand层里面有1×1和3×3的卷积kernel，数量分别记为E11和E33，要求S11 < input map number即满足上面的设计原则（2）。expand层之后将1×1
和3×3的卷积output feature maps在channel维度拼接起来。
总体模型总体模型
总共有9层fire module，中间穿插一些max pooling，最后是global avg pooling代替了fc层（参数大大减少）。在开始和最后还有两层最简单的单层conv层，保证输入输出大小可
掌握。
资源评论
qq_390254752022-12-19资源是宝藏资源，实用也是真的实用，感谢大佬分享~- huererer22023-07-21内容与描述一致，超赞的资源，值得借鉴的内容很多，支持！
