没有合适的资源?快使用搜索试试~ 我知道了~
CVSE:用于图像-文本匹配的共识感知视觉语义嵌入论文的官方源代码(ECCV 2020)
共64个文件
pkl:15个
json:13个
py:10个
需积分: 13 8 下载量 44 浏览量
2021-04-12
20:32:22
上传
评论 2
收藏 214.1MB ZIP 举报
温馨提示
介绍 这是共识感知视觉语义嵌入(CVSE) ,这是论文《的官方源代码。 它基于PyTorch中的构建。 抽象的: 图像文本匹配在桥接视觉和语言方面起着核心作用。 大多数现有方法仅依靠图像-文本实例对来学习它们的表示,从而利用它们的匹配关系并进行相应的对齐。 这样的方法只是利用实例成对数据中包含的表面关联,而没有考虑任何外部常识知识,这可能会阻碍它们推理图像和文本之间更高层次关系的能力。 在本文中,我们提出了一种共识感知视觉语义嵌入(CVSE)模型,以将共识信息(即两种模式之间共享的常识知识)整合到图像文本匹配中。 具体而言,通过计算来自图像字幕语料库的语义概念之间的统计共现相关性,并部署构造的概念相关图以产生共识感知概念(CAC)表示,来利用共识信息。 之后,CVSE基于所利用的共识以及两种模式的实例级表示形式,学习图像与文本之间的关联和对齐方式。 在两个公共数据集上进行的大量实验证明
资源推荐
资源详情
资源评论
收起资源包目录
CVSE-master.zip (64个子文件)
CVSE-master
runs
f30k
CVSE_f30k
log
events.out.tfevents.1608974921.DESKTOP-VNJSTH5 40B
model_best.pth.tar 96.57MB
coco
CVSE_COCO
model_best.pth.tar 98.32MB
figures
framework_CVSE.jpg 472KB
train_coco.py 14KB
data
f30k_annotations
Concept_annotations
f30k_concepts_glove_word2vec.pkl 703KB
category_concepts.json 4KB
all_f30k_concept_label.json 2.95MB
f30k_adj_concepts.pkl 1.03MB
vocab_f30k_concepts.pkl 6KB
f30k
dataset_flickr30k.json 36.54MB
coco_annotations
Concept_annotations
category_concepts.json 4KB
coco_adj_concepts.pkl 1.03MB
trainval_concept_label.json 16.01MB
vocab_trainval_concepts.pkl 6KB
coco_concepts_glove_word2vec.pkl 703KB
coco_to_f30k_annotations
Concept_annotations
category_concepts.json 4KB
Flickr30k_test_concept_label.json 89KB
coco_adj_concepts.pkl 1.03MB
vocab_trainval_concepts.pkl 6KB
coco_concepts_glove_word2vec.pkl 703KB
coco
annotations
coco_test_ids.npy 195KB
coco_restval_ids.npy 1.16MB
coco_dev_ids.npy 195KB
coco_train_ids.npy 3.16MB
captions_train2014.json 63.69MB
image_info_test2014.json 7.5MB
captions_val2014.json 30.92MB
download.sh 402B
model_CVSE.py 36KB
__pycache__
model_CVSE.cpython-36.pyc 21KB
evaluation.cpython-36.pyc 13KB
data.cpython-36.pyc 11KB
vocab.cpython-36.pyc 3KB
evaluation.py 19KB
evaluate.py 4KB
.idea
$PRODUCT_WORKSPACE_FILE$ 461B
$CACHE_FILE$ 467B
misc.xml 197B
vcs.xml 180B
modules.xml 308B
dictionaries 163B
workspace.xml 7KB
Code_github_ECCV2020_revised.iml 453B
inspectionProfiles
profiles_settings.xml 128B
vocab
coco_vocab.pkl 316KB
f30k_vocab.json 293KB
f8k_precomp_vocab.pkl 83KB
f8k_vocab.pkl 88KB
coco_precomp_vocab.pkl 268KB
coco_precomp_vocab.json 392KB
f30k_vocab.pkl 230KB
f30k_precomp_vocab.json 14B
f30k_precomp_vocab.pkl 227KB
train_f30k.py 14KB
README.md 5KB
util
utils.py 4KB
__pycache__
C_GCN.cpython-36.pyc 4KB
util_C_GCN.cpython-36.pyc 3KB
utils.cpython-36.pyc 4KB
util_C_GCN.py 6KB
C_GCN.py 4KB
data.py 18KB
vocab.py 3KB
共 64 条
- 1
资源评论
Mika.w
- 粉丝: 32
- 资源: 4592
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功