SemCKD:这是AAAI-2021论文的正式实施（带语义校准的跨层蒸馏）

SemCKD 带有语义校准的跨层蒸馏（AAAI-2021） 根据进行知识蒸馏的位置，可以将现有的特征蒸馏工作分为两类。 如下图所示，一种是特征图蒸馏，另一种是特征嵌入蒸馏。 SemCKD属于特征图蒸馏，并且与SOTA特征嵌入蒸馏（例如CRD）兼容，以进一步提高Student Network的性能。 此仓库包含SemCKD的实现以及比较的方法，例如经典KD，FeatureNet蒸馏特征（例如FitNet，AT，SP，VID，HKD）和功能嵌入蒸馏变异（例如PKT，RKD，IRG，CC，CRD）。 CIFAR-100结果 其中ARI表示平均相对改善。 该评估指标反映了SemCKD在现有方法的基础上进一步改进的程度，与这些方法对基准学生模型所做的改进相比。 要获得CIFAR-100的预训练教师模型，请执行以下操作： sh scripts/fetch_pretrained_te