exp1

重新思考网络修剪的价值 在以下论文中，该存储库包含用于再现结果的代码和经过训练的ImageNet模型： 重新思考网络修剪的价值。 *，*，，，（*相等贡献）。 ICLR2019。也是NIPS 2018紧凑型深度神经网络研讨会的。 此回购中包含的几种修剪方法的实现方式也可以方便地用于其他研究目的。 论文摘要 图1：典型的三阶段网络修剪管道。 我们的论文表明，对于结构化修剪，与从典型的“训练，修剪和微调”（图1）过程中获得的模型相比，从头开始训练修剪的模型几乎总是可以达到相当或更高的准确性。 我们得出结论，对于那些修剪方法： 为了获得有效的最终模型，通常不需要训练大型的，超参数化的模型。 大型模型学习到的“重要”权重通常对小型修剪模型没有用。 修剪后的体系结构本身，而不是一组继承的“重要”权重，对于最终模型的效率更为关键，这表明修剪在某些情况下可用作体系结构搜索范例。