# 基于ClipCap实现中文Image Caption
一个项目用于两个课程设计也挺不错`^_^`<br>
## 项目简介
本项目从学校课程设计中诞生,参考[ClipCap](https://arxiv.org/abs/2111.09734)进行中文图像标注工作。
该项目所使用数据集为[Flickr30k](http://shannon.cs.illinois.edu/DenotationGraph/data/index.html),由于该数据集里面全是人物相关图像,所以导致本项目训练所得模型对包含人物的图像标注效果较好,而不含人物的图像效果较差。<br>
### 效果示例
<img src=".\ClipCap\test_images\football.jpg" alt="football" width="400" height="300" style="float:left;" />
“两个人的旁边有一个双臂张开的男人跑在足球场上。”<br>
“两个穿着运动装的男人在运动场上庆祝。”<br>
“三个人的旁边有一个双手握拳的男人奔跑在球场上。”<br>
“两个人的旁边有一个双手握拳的运动员在球场上奔跑。”<br>
“两个人旁有一个抬着右手的男人走在绿茵茵的球场上。”
<br>
### 使用方法
进入`ClipCap`文件夹,在当前路径下,运行`use.py`,指令如下:
`python use.py -m ./models/clipcap_mlp_finetune.model -i ./test_images/football.jpg`
`-m`:训练好的模型存放路径。
`-i`:需要标注的图片路径。
<br>
### 环境依赖
见`requirements.txt`。
<br>
### 主体思路
通过图像特征提取模型将图片转化为向量,再通过映射网络将所提取的向量转化为文本生成前缀,将文本生成前缀prefix_embeds与constant_embeds进行拼接作为输入传进GPT2模型,从而生成文本。
#### 图像特征提取
利用Clip在极大的数据集进行预训练所得到的图像特征提取模型的权重(ViT-L/14)
#### 文本生成
利用GPT2在极大的数据集进行预训练所得到的文本生成模型的权重
#### 图像特征到文本特征映射网络
* MLP
* MLP + GPT2微调(本项目采用)
* Transformer
* Transformer + GPT2微调
<br>
### 参考文献
[Mokady, Ron, Amir Hertz and Amit H. Bermano. “ClipCap: CLIP Prefix for Image Captioning.”ArXivabs/2111.09734 (2021): n. pag.](https://arxiv.org/abs/2111.09734)
[From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions(Young et al., TACL 2014)](https://aclanthology.org/Q14-1006)
没有合适的资源?快使用搜索试试~ 我知道了~
DIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption(高分项目).zip
![preview](https://csdnimg.cn/release/downloadcmsfe/public/img/white-bg.ca8570fa.png)
共22个文件
py:6个
jpg:6个
pt:3个
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 109 浏览量
2024-05-30
18:40:44
上传
评论
收藏 588KB ZIP 举报
温馨提示
DIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption(高分项目).zip个人大三学期的期末大作业、经导师指导并认可通过的高分大作业设计项目,评审分98分。主要针对计算机相关专业的正在做大作业的学生和需要项目实战练习的学习者,可作为课程设计、期末大作业。 DIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption(高分项目).zipDIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption(高分项目).zipDIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption(高分项目).zipDIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption(高分项目).zipDIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption(高分项目).zipDIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption(高分项目).zipDIP和NLP期末大作业课程设计基于ClipCap实现中文Image Caption。
资源推荐
资源详情
资源评论
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![7z](https://img-home.csdnimg.cn/images/20210720083312.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
收起资源包目录
![package](https://csdnimg.cn/release/downloadcmsfe/public/img/package.f3fc750b.png)
![folder](https://csdnimg.cn/release/downloadcmsfe/public/img/folder.005fa2e5.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![folder](https://csdnimg.cn/release/downloadcmsfe/public/img/folder.005fa2e5.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![folder](https://csdnimg.cn/release/downloadcmsfe/public/img/folder.005fa2e5.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/JPG.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/JPG.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/JPG.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/JPG.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/JPG.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/JPG.png)
![folder](https://csdnimg.cn/release/downloadcmsfe/public/img/folder.005fa2e5.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![folder](https://csdnimg.cn/release/downloadcmsfe/public/img/folder.005fa2e5.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/TXT.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
![file-type](https://csdnimg.cn/release/download/static_files/pc/images/minetype/UNKNOWN.png)
共 22 条
- 1
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/3c1ed7f2fabc439d9d14e4ccad1864d6_chengxuyuanlaow.jpg!1)
猰貐的新时代
- 粉丝: 1w+
- 资源: 2496
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)