没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
2473
中图法分类号: 文献标识码: 文章编号:
论文引用格式:
赵经阳余昌黔桑农 语义分 割深度信息的选 择使用 中 国图象图 形学 报
收稿日期:修回日期:预印本日期:
通信作者桑农
基金项目:国家自然科学基金项目
Supported by:
RGB-D 语义分割:深度信息的选择使用
赵经阳,余昌黔,桑农
华中科技大学人工智能与自动化学院图像信息处理与智能控制教育部重点实验室武汉
摘 要: 目的 在室内场景语义分割任务中深度信息会在一定程度上提高分割精度 但是如何更有效地利用深
度信息仍是一个开放性问题 当前方法大都引入全部深度信息然而将全部深度信息和视觉特征组合在一起可能
对模型产生干扰原因是仅依靠视觉特征网络模型就能区分的不同物体在引入深度信息后可能产生错误判断
此外卷积核固有的几何结构限制了卷积神经网络的建模能力可变形卷积 在一定程
度上缓解了这个问题 但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足限制了进一步发展
基于上述问题本文提出一种深度信息引导的特征提取 模块 方法 深度信
息引导的特征提取模块包括深度信息引导的特征选择模块 和深度信息嵌入的
可变形卷积模块 可以筛选出关键的深度信息自适应地调整深
度信息引入视觉特征的比例在网络模型需要时将深度信息嵌入视觉特征 在额外深度信息的引入下增强
了可变形卷积的特征提取能力可以根据物体形状提取更相关的特征 结果 为了验证方法的有效性在
数据集上进行一系列消融实验并与当前最好的方法进行比较使用平均交
并比 和 平均像 素 准 确 率 作 为 度 量 标 准 结 果 显 示在
数据集上本文方法的 和 分别为 % 和 % 实现了较好的分割效果 结论 本文提出的深
度信息引导的特征提取模块可以自适应地调整深度信息嵌入视觉特征的程度更加合理地利用深度信息且在深
度信息的作用下提高可变形卷积的特征提取能力 此外本文提出的深度信息引导的特征提取模块可以比较方便
地嵌入当下流行的特征提取网络中提高网络的建模能力
关键词:语义分割深度信息引导的特征选择深度信息嵌入的可变形卷积 深度信息引导的
特征提取
RGB-D semantic segmentation depth information selection
Key Laboratory of Ministry of Education for Image Processing and Intelligent Control School of Artificial
Intelligence and Automation Huazhong University of Science and Technology Wuhan 430074 China
Abstract Objective
Vol. 27No. 8Aug. 2022
2474
Method
Result
% %
Conclusion
第 27 卷/第 8 期/2022 年 8 月 赵经阳,余昌黔,桑农 / RGB-D 语义分割:深度信息的选择使用
2475
Key words
0 引 言
语义分割是计算机视觉领域中的一项基本任
务目标是将图像中的每一个像素分配给对应的类
别是像素级别的多分类任务 在自动驾驶虚拟现
实和医学图像处理等领域具有重要意义 卷积神经
网络促使神经网络迅速发展在计算机视觉各项任
务中均取得最好效果 等
和 等 而全卷积神经网
络 等彻底改变了语义分割等领域的格
局依靠编码器解码器的结构降低了对图像尺寸
的依赖无论输入编码器图像尺寸如何都可在解码
器输出部分得到相同大小的分割图像 一系列基于
全卷积神经网络的语义分割研究 等
等 等 极大地推动了语
义分割的发展
由于深度相机的出现 可以比较
方便地获取彩色图像对应的深度图像 深度图是单
通道图像图像中的每个值对应该像素点到相机平
面的距离 显而易见深度图含有彩色图像相对匮
乏的空间深度信息 在语义分割任务中彩色图像
中外观相似的相邻物体是网络难以区分的但深度
图像的应用可以在一定程度上缓解这个问题 尽管
外观特征相似但其在 空间中相距甚远这可以
帮助网络进行分类 等人 将深度图转
化 为 三 通 道 的
图像丰富了深
度图像信息
近年有不少关于 语义分割的研究
等 等但如何更有效地提取深度
信息并嵌入到视觉特征仍是一个值得探索的问题
彩色图像由于其明亮的颜色和清晰的纹理蕴含了
良好的语义信息 而与彩色图像对齐的深度图像存
在较为准确的深度数据含有区别于彩色图像的空
间信息 两种图像既有差异性也有互补性如果简
单地将全部深度信息和视觉特征组合在一起可能
会对网络产生干扰 根据将深度信息嵌入视觉特征
的方式大部分研究方法可以大致分为以下 类单
流 方法 和
等双流 方法 等
等以及多任务 方法 等
等 单流方法不会将深度图作
为额外输入而对其提取特征只有一个对彩色图像
进行特征提取的主干 网络特征提取过
程中利用深度图固有空间信息辅助视觉特征提取
以达到提高语义分割的效果或是采用多个卷积核
沿深度方向对输入图像提取特征每个卷积核处理
不同深度的像素点最后将多个卷积核的计算结果
相加 双流方法将深度图作为额外输入而对其提取
特征主要存在两个主干网络每个主干网络分别对
彩色图像和深度图像提取特征在编码或解码阶段
将提取的视觉特征与深度特征融合达到利用深度
信息的目的 多任务方式与上述两种方式显著不
同将语义分割深度估计以及表面法线估计等多种
任务一同处理这类方式往往只有一个共用的主干
网络在对彩色图像进行特征提取过程中根据不同
任务的监督可以得到多个任务相似的特征以及互补
的特征不同任务间特征的交互会提高各个任务的
性能 除此 之 外 等 人 和 等人
利用深度信息将彩色图像映射到 空间
中使用 卷积对图像进行特征提取然而这种方
法得到的 数据是比较稀疏的对于计算资源和
存储空间要求较高从而限制了它的应用 等人
在 点 云 的 基 础 上 构 建 了 近邻图
通过循环迭代方式更新节
点的特征表示
以上研究都忽略了同一个问题即并非所有的
深度信息都是必要的将全部深度信息嵌入视觉特
征可能会对网络造成干扰 彩色图像固有的颜色和
纹理信息有时完全可以清楚地区分两个或多个类
别此时深度信息的加入多少有些画蛇添足的味道
例如深度特征相似但视觉特征不同的物体本可以
由视觉特征区分此时加入深度信息反而会使网络
模型做出错误判断 如图 所示图 中的毛巾
橙色框中物体仅通过视觉特征即仅将彩色图像
剩余13页未读,继续阅读
资源评论
普通网友
- 粉丝: 1272
- 资源: 5623
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 毕设和企业适用springboot汽车管理类及教育评价系统源码+论文+视频.zip
- 毕设和企业适用springboot汽车管理类及基因数据分析平台源码+论文+视频.zip
- 毕设和企业适用springboot区域电商平台类及电力系统优化平台源码+论文+视频.zip
- 毕设和企业适用springboot区域电商平台类及个性化推荐系统源码+论文+视频.zip
- 毕设和企业适用springboot区域电商平台类及国际贸易平台源码+论文+视频.zip
- 毕设和企业适用springboot人工智能客服系统类及视频监控平台源码+论文+视频.zip
- 毕设和企业适用springboot人工智能客服系统类及旅游规划平台源码+论文+视频.zip
- 毕设和企业适用springboot人工智能客服系统类及市场营销自动化平台源码+论文+视频.zip
- 毕设和企业适用springboot汽车管理类及企业管理平台源码+论文+视频.zip
- 毕设和企业适用springboot汽车管理类及气象数据管理系统源码+论文+视频.zip
- 毕设和企业适用springboot汽车管理类及数字内容管理平台源码+论文+视频.zip
- 毕设和企业适用springboot区域电商平台类及跨境物流平台源码+论文+视频.zip
- 毕设和企业适用springboot区域电商平台类及互联网金融平台源码+论文+视频.zip
- 毕设和企业适用springboot区域电商平台类及活动管理平台源码+论文+视频.zip
- 毕设和企业适用springboot人工智能客服系统类及视频监控系统源码+论文+视频.zip
- 毕设和企业适用springboot人工智能客服系统类及数字内容管理平台源码+论文+视频.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功