Multimodal_Retrieval.pytorch:多模态和跨模态检索

单模态和跨模态检索任务 依存关系 我们建议对以下软件包使用Anaconda：Python 2.7， （> 0.1.12）， （> 1.12.1）， 朋克句子分词器： import nltk nltk . download () > d punkt 下载资料 在此示例中，我们使用MSCOCO图像标题作为数据集，对于单个模型（图像或文本），您只能使用图像/文本作为训练数据，皮质模态检索与单个模态检索共享相同的框架。 您可以从MSCOCO图像字幕网站下载数据，或从和下载预先计算的图像功能。 要使用完整的图像编码器，请在，和从其原始来源下载图像。 wget http://www.cs.toronto.edu/~faghri/vsepp/vocab.tar wget http://www.cs.toronto.edu/~faghri/vsepp/data.tar wget http:/