FedMMD-Heterogenous-Federated-Learning-based-on-Multi-teacher

联邦蒸馏是联邦学习中的一种新的算法范式，使客户端能够训练不同的网络架构。在联邦蒸馏中，学生可以通过提取客户端对公共服务器数据的平均预测来学习他人的信息，而不会牺牲他们的个人数据隐私。然而，仅使用平均软标签作为所有学生的老师的方法会受到客户端草案的影响，尤其是当本地数据是异构时。软标签是模型之间的平均分类分数。在本文中，我们提出了一个新的框架FedMMD（基于多教师和多特征蒸馏的联邦学习），该框架对客户端之间的不同数据分布具有鲁棒性。FedMMD扩展了FD训练程序中的聚集阶段和蒸馏阶段。与在所有学生中共享同一教师的方法相反，FedMMD 为每个需要进行多次独立蒸馏的学生分配不同的教师。由于每个模型都可以单独视为教师，FedMMD解决了共享教师仅具有平均性能由平均软标签引起的问题。同时，在每次蒸馏中，FedMMD没有使用模型在公共数据上的平均软标签作为教师，而是引入了中间表示和软标签的组合作为蒸馏目标，以了解教师的更多信息细节。我们在两个公共数据集（CIFAR10和MINIST）上的广泛实验证明了所提出的方法的性能。