没有合适的资源?快使用搜索试试~ 我知道了~
小样本图像语义分割综述.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 127 浏览量
2022-11-02
17:19:34
上传
评论
收藏 526KB DOCX 举报
温馨提示
试读
18页
小样本图像语义分割综述.docx
资源推荐
资源详情
资源评论
引 言
语义分割作为计算机视觉的基本任务之一,广泛应用于医学图像识别、自
动驾驶、地质勘探等领域
[1,2]
。使用卷积神经网络能极大地提高语义分割的性能。
基于卷积神经网络的语义分割模型需要大量具有像素级别标注的数据,获取大
量的、高质量的像素级别标注数据费时费力,限制了语义分割在很多领域的应
用。为了缓解语义分割模型需要大量标注数据的压力,研究通过使用少量的带
标注样本完成语义分割任务的小样本语义分割问题被提出并受到广泛关注
[3]
。
小 样 本 语 义 分 割 , 也 称 小 样 本 分 割 ( Few-shot semantic segmentation,
FSS)。小样本分割主要采用基于度量的元学习方法进行
[4,5]
。利用度量的思想,
使用度量工具(例如,余弦相似度、卷积等)度量少量带标签样本特征和待分
割图片特征在高维空间的距离,为待分割图片中的每个像素点做出预测。目前
基于元学习的小样本分割方法占据主导地位,仅有少数研究工作摒弃元学习的
办法
[6]
。本文对当前基于元学习的小样本分割研究工作做了归纳与整理,并在此
基础上依据度量工具的不同将小样本分割方法划分为基于参数结构的小样本
分割方法和基于原型结构的小样本分割方法,分析比较了这两类小样本分割方
法的性能,介绍了这些方法的应用场景。最后,通过分析目前小样本分割算法存
在的主要问题,给出了将来可能的发展趋势与展望。
1 小 样 本 分 割 介 绍
1.1 元 学习
深度学习方法在很多领域都获得了成功,然而其局限性也在大量计算资源
及数据的使用中暴露出来。元学习(meta learning)提供了另一种范式,在这
种范式中,机器学习模型通过多个学习阶段获得经验,并利用这种经验来提高其
未来的学习性能。元学习或者称为“学习如何 学习”(learning to learn),是在
多个学习任务中改进一个学习算法的过程。“学习如何学习
[7,8]
”就是使模型可以
利用以往的知识经验来指导新任务的学习,具有学会学习的能力。在元学习中,
通过一批训练任务训练元学习算法,算法在被训练解决这些任务的过程中得到
的经验被用于解决最终的任务 T。
采用元学习方法,模型先在大量易获得的、带标注的数据集上构造一批训
练任务,训练模型学习如何解决实现某类任务,如图像分类
[9,10]
、语义分割
[11,12]
、
目标检测
[13,14,15]
等。元学习方法构造的学习任务集是利用极少样本学习的任务,
因此这种方法被广泛应用于小样本学习任务,包括小样本语义分割。
当前的小样本语义分割方法的一般训练步骤如下:首先,在训练和测试时
都是以小样本任务为基本单位,每个任务单独划分训练集和测试集,也被称为支
持集和查询集。训练时,模型将每个任务看成一个训练样本,利用每个任务的支
持集信息对查询集样本做出预测。通过在训练阶段大量小样本任务的训练,使
得模型在测试时也能对此种小样本任务产生比较好的预测效果。
1.2 基 于元学习的小样本分割 范式
小样本语义分割和一般的语义分割的任务设定不同,当前小样本语义分割
任务的研究重点是两类分割,即分割前景类别和背景类别,而一般的语义分割任
务是分割出多种类别的物体。
基于元学习的小样本分割算法设计中,引入大量训练类别的带标签图片样
本构造训练任务集。在每个训练 任 务 上 通 过 训 练 阶段(也被称为 meta-train)
和测试阶段(也被称为 meta-test)用带标签图片来训练和测试模型。这里的
测试类别图片和训练类别图片(也被称为未见过类和已见过类)来自同一数据
集 C。按照未见过类和已见过类划分数据集 C 为两个数据集,分别记为 C
unseen
,
C
seen
,且 Cunseen ∩Cseen =∅Cunseen ∩Cseen =∅ 。
和小样本图像分类任务类似,小样本分割也采用 N-Way-K-Shot 的设定来
为 meta-train 和 meta-test 划分每一个小样本分割任务,这种情况意味着待分割
类别为 N 类,可使用的样本数为 K。以相应的 N-Way-K-Shot 的形式从和中分
别 多 次 采 样 构 成 小 样 本 分 割 任 务 , 来 获 得 训 练 集 和 测 试 集 D
test
。 因 而
Dtrain ={(Si,Qi)}Ntrain Dtrain ={(Si,Qi)}Ntrain ,D
test
={(Si,Qi)}Ntest {(Si,Qi)}Ntest , 其
中 S, Q,N
train
, N
test
,表示支持集、查询集、训练阶段和测试阶段的需要抽取的批
次数。每一个支持集-查询集对<S
i
,Q
i
>组成了一个小样本分割任务,任一支持集
S
i
包含 K 张图片-掩码对<I,M>,作为小样本分割任务中的带标签样本信息;任一
查询集包含一个图片-掩码对,作为小样本分割任务中的待分割图。
在训练时,从训练集 D
train
中获得小样本分割任务, 模型利用支持集中的信
息来指导在查询集上的分割任务<S
i
,Q
i
>。因为在训练阶段的每个小样本分割任
务都各自独立地从 C
train
采样,可以被视作不同的小样本分割任务,所以模型经过
训练后能泛化到其它小样本分割任务。测试阶段,利用 D
test
来测试模型性能,和
训练阶段一致,利用支持集 S
i
中的信息指导模型对查询集图片的分割。
1.3 相 似的语义分割方法
在语义分割领域有很多解决标注样本数量不足的研究工作,这里汇总了这
些研究方法,说明了各类方法的特点,以及和小样本语义分割方法的区别。
1.3.1 半监督语义分割
有监督语义分割需要像素级别标记的数据,这些数据的获取是相当昂贵和
费时的。半监督语义分割利用未标记的数据,从未标记和已标记的混合样本中
学习最优分割模型,可以大大减少像素级别注释的工作,也可以保持相当高的准
确性
[16,17]
。区别于半监督语义分割,小样本分割问题所需要的标注数据量远比半
监督语义分割要少,针对不同的任务,半监督语义分割模型需要提前收集大量相
关数据。因而小样本分割模型相比半监督语义分割模型更具有灵活性。
1.3.2 弱监督语义分割
弱监督学习是指,利用已知数据和其对应的弱标签,如图像级别标签、边界
框标注等,训练一个模型将数据映射到一组更强的标签的过程,此处标签的强弱
即为标签蕴含信息量的多少
[18,19]
。在语义分割任务上,常见半监督分割方法解决
的是数据标注数量问题,而弱监督语义分割方法解决的是对于图像的精细的像
素级标注造成的时间人力成本问题。通过弱监督学习,可以大大减轻对像素级
标签的高度依赖性。但弱监督学习仍然需要大量弱标签来训练模型,而小样本
分割只需要极少的像素级标签,便可以完成得到良好的分割结果
1.3.3 零样本语义分割
零样本 语义分割可以说是目前语义分割领域极具挑战性的学 习方式之一。
零样本语义分 割
[20]
将每个图像像 素分类为可见类(即带有训练标签的测试类)
和未见类(即没有任何训练标签的测试类)。通过利用可见类训练模型,完成
对未见类的语义分割任务(狭义零样本语义分割)或同时对已见类和未见类的
分割任务(广义零样本语义分割)。零样本语义分割的现行策略,是使用类别
高级语义描述的嵌入让未见类别与可见类别建立联系,常见的思路
[21]
是将语言
本体之间的语义相似性从一些合适的文本嵌入空间转移到视觉表示空间。虽然
同属迁移学习范畴,零样本语义分割更加侧重于在高级语义中实现模型的知识
迁移,对于新类(未见类)的样本并没有依赖性;而小样本分割更加侧重于对于
语义信息的补充,增强模型从较少样本中学习的能力。小样本分割可以从零样
本分割的学习策略中加以借鉴,从而开拓新的研究思路。
2 小 样 本 分 割 算 法
2.1 小 样本分割的方法分类
自论文“One-Shot Learning for Semantic Segm-entation”
[3]
(OSLSM)提
出了小样本分割的任务后,大量优秀的工作也不断涌现
[22,23,24,25,26,27]
。这些小样本
分割方法都是利用基于度量的元学习思想,根据其度量工具是否有需要学习的
参数,本文将这些小样本分割方法分为两种类型:基于参数结构的小样本分割
模型和基于原型结构的小样本分割模型。
基于参数结构的小样本分割方法的一般模型如图 1 所示。这种方法通常采
用卷积作为度量工具,通过在训练集上的学习,为度量工具学习一个合适的参数
配置。该方法首先利用特征编码器(Feature Encoder)编码查询图片(Query
image ) 和 支 持 图 片 (Support image), 得 到 特 征 图 , 再 利 用 特 征 比 较 模 块
(Feature Comparison)将查询图片中的同类别特征“激活”,最后利用特征解码
器(Feature Decoder)优化前一阶段的比较结果,扩大感受野,捕捉上下文信息,
进而得到预测图。
图 1
图 1 基于参数结构的小样本分割模型
Fig.1 The pipeline of parameter-based FSS method
剩余17页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3658
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功