NM-sparsity

N：M细粒度结构的稀疏神经网络 ， 为什么N：M稀疏？ 深入研究了深度神经网络（DNN）中的稀疏性，以在资源受限的环境中压缩和加速模型。 通常可以将其归类为将整个神经网络中分布的多个单个权重归零的非结构化细粒度稀疏性，以及修剪神经网络块的结构化粗粒度稀疏性。 细粒度的稀疏性可以实现较高的压缩率，但对硬件不友好，因此只能获得有限的速度增益。 另一方面，粗粒度的稀疏性不能同时实现现代GPU上的加速和维持性能。 N：M细粒度结构化稀疏网络，可以在专门设计的GPU上同时保持非结构化细粒度稀疏性和结构化粗粒度稀疏性的优势。 阐明 Nvidia 修剪沿通道尺寸，我们的原始方法仅修剪内核尺寸。 最新的NVIDIA Ampere GPU设计为2：4稀疏性，要实现硬件加速，可以查看以下资源： 方法 与原始的密集模型相比， SR-STE可以以可忽略的额外培训成本获得可比甚至更好的结果，并且只有一个易