Structured Attention Knowledge Distillation for Lightweight Netw

知识蒸馏是通过设计的损失函数将教师网络学到的有效知识转移到学生网络中，帮助学生网络以更低的计算成本获得更好的性能。但是，当学生网络和教师网络在结构和计算量上存在很大差异时，以前的知识蒸馏方法很难有效提高学生网络性能。为了改善这种情况，本文提出了轻量级网络的结构化注意力蒸馏。结构化注意力蒸馏对模型中的特征进行通道分组，通过细化空间注意力图，帮助学生网络学习教师网络的特征提取能力。我们提出的方法是在CIFAR100和大规模人脸识别验证集（LFW，CFP-FP，Age-DB）上进行评估的。与其他蒸馏方法相比，我们提出的方法在CIFAR100和人脸识别验证集上获得了更好的精度。