对抗性样本的跨模式学习

随着深度神经网络的Swift发展，已经提出了许多深度交叉模态分析方法，并已在包括医疗保健和安全性至关重要的环境在内的广泛实际应用中应用。 但是，最近对深度神经网络的鲁棒性和稳定性的研究表明，即使对人类来说，微观修改（称为对抗性样本）也难以为人所知，它很容易愚弄表现良好的深度神经网络，并为深度交叉带来了新的障碍。模态相关探索。 在本文中，我们提出了一种新颖的具有对抗性样本的跨模态相关学习方法，即CMLA，它首次提出了跨模态数据中对抗性样本的存在。 此外，我们提供了一种简单而有效的对抗样本学习方法，其中跨不同模态的模态间和模态内相似性正则化被同时整合到对抗性样本的学习中。 最后，我们提出的CMLA被证明在基于交叉模式哈希的检索中非常有效。 在两个交叉模式基准数据集上进行的大量实验表明，由我们的CMLA生成的对抗示例可以有效地欺骗目标深层交叉模式哈希网络。 另一方面，此类对抗示例可以通过进行对抗训练来显着增强目标网络的鲁棒性。