基于参数共享的卷积神经网络压缩.pdf

卷积神经网络（CNNs）在计算机视觉领域，如图像分类和目标检测，已经成为主流的研究方向，取得了显著的进展。然而，随着模型准确率的提升，网络深度加深，导致计算需求和存储空间急剧增长，这在资源有限的移动设备和嵌入式系统上部署CNNs变得极具挑战性。为了解决这个问题，参数共享策略被提出，以压缩CNNs的大小，减少存储占用和计算资源。 论文中提到了一种基于Toeplitz矩阵的参数共享方法来压缩全连接层。Toeplitz矩阵是一种特殊的矩阵，其非对角线上的元素都是对角线元素的平移。通过将全连接层的权重参数转换为Toeplitz矩阵形式，可以显著减少参数数量。例如，在数字手写体识别网络中，应用该方法后，全连接层的可学习参数被压缩了174倍，但模型的分类准确率只降低了0.74%，显示了这种方法的有效性。 另外，论文还提出了一种新的卷积层参数共享策略，可以从输入和输出两个角度进行。当基于输入进行卷积层权重参数的循环共享时，数字手写体识别网络的卷积层参数被压缩14倍，而模型的分类准确率仅下降0.03%。这种创新的共享方式进一步减少了模型的复杂性，同时保持了较好的性能。 参数共享的目的是为了降低模型的复杂度，使得模型在资源有限的设备上运行成为可能。全连接层是CNN中消耗资源最多的部分，通过Toeplitz矩阵的参数共享，可以有效地减少这部分的存储需求。另一方面，卷积层的参数共享则可以从输入或输出的角度优化，通过循环共享策略，能够在保持模型性能的同时，降低计算负担。 总结来说，这篇论文提出了两种有效的参数共享策略，一是应用于全连接层的Toeplitz矩阵参数共享，二是基于输入和输出的卷积层参数共享。这两种方法在压缩CNNs的同时，显著降低了模型的存储需求和计算资源，且对模型性能的影响微乎其微。这些研究成果对于推动深度学习在移动设备和嵌入式系统中的应用具有重要意义，特别是在资源受限的环境下，能够更好地实现高效和实时的模型执行。