深度卷积神经网络的柔性剪枝策略.docx

深度卷积神经网络的柔性剪枝策略 深度学习技术的发展得益于日益加深的网络结构，但同时受其制约。因此，如何在边缘端部署深度神经网络模型是解决问题的关键。剪枝技术被证实是一种有效的方法，按照移除的粒度大小可以被分为两大类：权重剪枝和结构化剪枝。权重剪枝可以剪除网络中的任意连接权重，但稀疏权重矩阵的存储和关联索引需要特定的计算环境，在实际中难以实现硬件加速。结构化剪枝直接减小权重矩阵的大小，同时保持完整矩阵的形式，因此它可以更好地兼容硬件进行加速，成为目前的主流研究方向。 本文提出一种柔性剪枝策略，以通道为单位剪枝，首先结合批归一化（batch normalization，BN）层的缩放系数值及其分布情况，计算通道贡献量作为衡量通道重要性的依据，并初步估算每层的剪枝比例。然后通过模拟剪枝调优剪枝策略，以此快速逼近最佳的网络架构。最后根据得到的架构对每一层分别剪枝，获得紧凑的模型。本文提出的剪枝方法，采用全局的结构化剪枝方式，过程中不需要对局部手动调参，剪枝后的模型无须特定的环境支持，是一种高效的模型压缩方法。 剪枝方法按照移除的粒度大小可以被分为两大类：权重剪枝和结构化剪枝。权重剪枝可以剪除网络中的任意连接权重，但稀疏权重矩阵的存储和关联索引需要特定的计算环境，在实际中难以实现硬件加速。结构化剪枝直接减小权重矩阵的大小，同时保持完整矩阵的形式，因此它可以更好地兼容硬件进行加速，成为目前的主流研究方向。 早期的剪枝方法通常根据权重重要性决定哪些通道被剪除，忽略权重重要性之间相互联系，从而容易造成过度剪枝或剪枝不足的问题，导致剪枝后模型性能不可复原地下降。最新的研究通常使用渐进的迭代剪枝方法，或将网络结构搜索问题转化为优化问题，逐步逼近最佳的网络架构。然而当这些方法应用于大剪枝率时，受到网络稀疏程度的影响，在实际剪枝过程中会带来额外的计算量。 本文提出的剪枝方法，采用全局的结构化剪枝方式，过程中不需要对局部手动调参，剪枝后的模型无须特定的环境支持，是一种高效的模型压缩方法。剪枝作为网络压缩的有效方法之一，通过裁剪网络中不重要的权重，在不影响性能的情况下，提升网络运算速度，减少存储容量。