深度学习与CV教程(10) - 轻量化CNN架构 (SqueezeNet,ShuffleNet,MobileNet等).doc

深度学习与CV教程(10) - 轻量化CNN架构 (SqueezeNet,ShuffleNet,MobileNet等) 深度学习与计算机视觉是当前人工智能领域的热门话题，卷积神经网络（CNN）是其中一个关键技术。然而，随着模型的深度和宽度增加，计算复杂度和参数量也随之增加，这将带来计算资源和存储空间的压力。为了解决这个问题，研究界和工业界近年来都在努力“保持效果的情况下压缩网络复杂度”，诞生了很多轻量化网络。 本篇教程将讲解神经网络参数与复杂度计算，以及主流轻量级网络，包括SqueezeNet、Xception、ShuffleNet v1~v2、MobileNet v1~v3等。 神经网络参数与复杂度计算是轻量化网络的基础知识。理论计算量（FLOPs）是衡量神经网络计算复杂度的重要指标，单位是浮点运算次数（FLoating-point Operation）。参数数量（params）是衡量神经网络模型大小的重要指标，单位通常为 \(M\)，用 float32 表示。 典型结构对比中，我们可以看到标准卷积层（std conv）、全连接层（fc）和group conv、depth-wise conv等不同类型的卷积层。每种卷积层都有其特点和优缺，了解这些卷积层的参数量和计算复杂度是设计轻量化网络的基础。 SqueezeNet是轻量化网络中一个著名的网络，它发表于 ICLR 2017，它拥有与 AlexNet 相同的精度，但只用了 AlexNet 1/50 的参数量。SqueezeNet 的核心在于采用不同于常规的卷积方式来降低参数量，具体做法是使用 Fire Module，先用 \(1 \times 1\) 卷积降低通道数目，然后用 \(1 \times 1\) 卷积和 \(3 \times 3\) 卷积提升通道数。 SqueezeNet 采用了三种策略来降低参数量：① 将 \(3 \times 3\) 卷积替换为 \(1 \times 1\) 卷积② 减少 \(3 \times 3\) 卷积的通道数③ 将降采样操作延后，这样可以给卷积提供更大的 activation map，从而保留更多的信息，提供更高的分类准确率。 Fire Module 是 SqueezeNet 网络的基础模块，设计如下图所示：一个 Fire Module 由 Squeeze 和 Extract 两部分组成：Squeeze 部分包括了一系列连续的 \(1 \times 1\) 卷积；Extract 部分包括了一系列连续的 \(1 \times 1\) 卷积和一系列连续的 \(3 \times 3\) 卷积，然后将 \(1 \times 1\) 和 \(3 \times 3\) 卷积的结果相加。 此外，Xception、ShuffleNet v1~v2、MobileNet v1~v3等轻量化网络也都有其独特的设计和优缺，这些网络的设计思想和实现细节都是值得我们深入研究和学习的对象。