matlab的素描代码-A-Simplified-framework-for-Zero-shot-Cross-Modal-Ske...

matlab的素描代码零镜头跨模态草图数据检索的简化框架 我们通过一种新型的深度表示学习技术来处理涉及彩色和草图图像的零镜头交叉模态图像检索问题。 从图像检索到反之亦然的问题非常重要，在这方面，经过训练的模型有望超越训练课程（例如零镜头学习场景）而推广。 尽管如此，考虑到两种模态之间的巨大分布差距，特征对齐对于学习可有效执行检索的共享特征空间是必需的。 此外，还应确保共享空间在语义上对实现零快照检索任务有意义。 但是，为多模态图像数据训练典型的GAN式模型可能是非琐事时间。 为此，我们提出了一种多流编码器/解码器模型，该模型可同时确保RGB和草绘图像空间之间的映射关系得到改善，并且在共享语义驱动的编码特征空间中具有较高的区分度。 此外，保证了原始语义空间的类拓扑被保留在编码特征空间中，这随后减少了对训练类的模型偏差。 在基准Sketchy和TU-Berlin数据集上获得的实验结果证明了我们模型的有效性，因为我们在很大程度上优于现有的最新技术。 要实现代码： 如果需要，可以通过更改Unified_XY_triads.py中的“ path”变量来更改快照和摘要文件夹的路径 要预训练X和Y模