没有合适的资源?快使用搜索试试~ 我知道了~
Zero-shot RIS with Global-Local Context Features
需积分: 5 1 下载量 193 浏览量
2023-10-27
16:52:20
上传
评论
收藏 34.03MB PPTX 举报
温馨提示
![preview](https://dl-preview.csdnimg.cn/88478713/0001-e067d189633f9818a5ce857d71cd0e1a_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
25页
组会汇报ppt,仅供参考。 有问题欢迎提出,大家共同进步。
资源推荐
资源详情
资源评论
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![vsdx](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![csv](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/release/download_crawler_static/88478713/bg1.jpg)
Zero-shot Referring Image Segmentation with Global-Local Context Features
CVPR 2023
2023.10.27
![](https://csdnimg.cn/release/download_crawler_static/88478713/bg2.jpg)
Abstract
指代图像分割( RIS )的目的是根据给定的关于输入图像的某一区域的指代表
达式找到一个分割掩码。然而,为这项任务收集有标签的数据集是非常困难
的。
于是本文通过利用来自CLIP的预训练跨模态知识,提出了零样本RIS方法。
建立一种掩码引导的视觉编码器,用于捕捉输入图像的全局-局部上下文信息。
通过利用从现成的mask proposal技术中获得的实例掩码,本文的方法可以分割精
细的实例级图像;引入一种全局-局部文本编码器编码整个句子的语义和目标名
词短语的局部特征。实验表明本文方法效果很好甚至超过一些弱监督 RIS 方
法。
![](https://csdnimg.cn/release/download_crawler_static/88478713/bg3.jpg)
Introduction
CLIP的零样本迁移能力强,但不能直接用于如目标检测和实例分割之类的
稠密预测任务。有一些任务尝试微调,但是成本太大。
由于RIS任务需要收集目标区域的精确指代表达式及其密集的掩码注释,因
此为该任务收集注释更具有挑战性。为此,提出了弱监督RIS方法,但同样需要
高质量的图像-文本对注释,并且性能与监督方法相比很差。于是本文提出从预
训练的 CLIP 中执行零样本迁移到 RIS。
值得注意的是,虽然我们的方法不需要对CLIP模型进行任何额外的训练,
但它比所有的基线和弱监督参考图像分割方法都有很大的优势。
![](https://csdnimg.cn/release/download_crawler_static/88478713/bg4.jpg)
Introduction
本文主要贡献如下:
1. 第一个提出基于 CLIP 的零样本 RIS 方法;
2. 提出的视觉和文本编码器以同样的方式分别整合图像和文本的全局-局部
上下文信息;
3. 提出的全局-局部上下文特征充分利用了 CLIP 的优势来捕捉在视觉和文本
形态方面的目标对象语义及对象间的关系;
4. 实验表明本文的方法比许多基线模型和弱监督RIS模型优秀。
![](https://csdnimg.cn/release/download_crawler_static/88478713/bg5.jpg)
Overall Framework
图:global-local CLIP。给定一幅图像和一个表达式作为输入,我们使用mask proposal提取全局-局部上下文视觉特征,同时提
取全局-局部上下文文本特征。在计算所有全局-局部上下文视觉特征和一个全局-局部上下文文本特征之间的余弦相似度得分
后,我们选择得分最高的掩码。
剩余24页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/6b7d6ac5228b40c984dc946c617b518d_weixin_44791273.jpg!1)
安冉冉
- 粉丝: 188
- 资源: 6
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
最新资源
- 简单小游戏制作-飞行棋
- Python数学建模例子.rar
- Java项目-基于SSM+JSP的校园外卖配送系统的设计与实现(源码+万字LW+部署视频+代码讲解视频+全套软件)
- Color-Transformer introduction
- FastStone Capture屏幕长截图软件包
- Table IoT物联网工具,简单快速的搭建物联网服务平台
- zheng2020 ecg new dataset-12 lead-add-label
- """YOLOv5-specific modules Usage: $ python path/to/models/y
- onnx-while-test.cpython-37
- 基于MapReduce的招聘数据清洗项目(免费提供源码)
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)