HOW-I-LEARNED-TO-STOP-WORRYING-AND-LOVE全文翻译.pdf

模型剪枝论文 Title: HOW-I-LEARNED-TO-STOP-WORRYING-AND-LOVE全文翻译.pdf Description: ICLR2023 模型剪枝论文 Tag: 剪枝 内容: 一、模型剪枝的必要性 现代神经网络架构通常高度过度参数化，包含数百万甚至数十亿个参数，导致高内存需求以及计算密集型和长训练和推理时间。研究表明，现代建筑可以通过修剪来显着压缩，即删除冗余结构，例如单个权重、整个神经元或卷积滤波器。 二、模型剪枝的方法 许多神经网络剪枝方法由几个迭代训练和剪枝步骤组成，似乎在剪枝后损失了大部分性能，然后在随后的重新训练阶段恢复它。最新的作品（Renda 等人，2020；Le & Hua，2021）证明了再训练阶段学习率计划的重要性，并提出了为 IMP 选择此类计划的具体启发式（Han 等人，2015）。 三、模型剪枝的挑战 模型剪枝的挑战之一是如何在剪枝后恢复模型的性能。研究表明，使用简单的线性学习率计划可以大大缩短再训练阶段（Li 等人，2020）。此外，我们还提出了一种自适应选择线性计划初始值的方法，以进一步改进现有的再训练方法。 四、模型剪枝的应用 模型剪枝的应用包括在固定训练预算内训练模型，并证明，因此，使用简单的线性学习率计划可以大大缩短再训练阶段。此外，我们还表明，由此产生的简单而有效的方法能够优于试图稀疏网络的更复杂或高度参数化的最先进方法在训练中。 五、模型剪枝的未来发展 模型剪枝的未来发展包括在标准训练过程后从模型架构中删除部分网络权重，似乎失去了大部分预测性能，然后重新训练以补偿修剪引起的损失。这可以一次性完成，即仅修剪和重新训练一次，也可以迭代地重复修剪和重新训练的过程。 六、模型剪枝的结论 模型剪枝的结论是，模型剪枝可以显着压缩神经网络的参数数量和计算复杂度，同时保持模型的预测性能。这使得模型剪枝成为神经网络模型压缩和加速的重要方法之一。 七、模型剪枝的未来方向 模型剪枝的未来方向包括在稀疏化过程中纳入标准训练，以避免再训练的需要并减少“硬”修剪的负面影响。此外，我们还希望BIMP能够作为一个模块化且易于实施的基线，可以与未来的方法进行实际比较。