RGB-D语义分割：深度信息的选择使用_RGB-D和深度信息资源-CSDN文库

语义分割

深度信息

191 浏览量 2022-10-20 10:33:26 上传评论收藏 8.01MB PDF 举报

资源推荐

资源详情

资源评论

2473　

中图法分类号:󰆶   文献标识码: 󰊗  文章编号: 󰢤󰣬󰢤󰣬󰍏󰆶󰣬

论文引用格式: 󰀅󰏶󰄮  󰔵    󰏶󰁠 󰏶󰁠   󰈰󰣩󰣬󰥶 󰒡󰇾󰏶󰁠󰠘󰓞󰊚 󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠󰦆 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰒡󰣀󰒡󰊚󰠘󰓞󰄮󰁠 󰄮󰁠󰏶󰣀 󰄮 󰦈󰇾󰏶󰒡 󰏶󰁠 󰣩󰏶󰠒󰀅󰓞󰊚󰔵

󰍏󰦆󰍏󰆶󰣬󰢤 赵经阳󰔵余昌黔󰔵桑农  󰈰󰣩󰣬󰥶 语义分割󰦆深度信息的选择使用 中国图象图形学报󰔵󰍏󰦆󰍏󰆶󰣬 󰢤  󰥶󰦤󰦈󰦆

󰣫 󰆶 󰢑 󰡝󰓞󰣫 󰢤

收稿日期:󰣬󰣬修回日期:󰣬󰢤󰣬预印本日期:󰣬󰍏󰣬󰆶

󰣮通信作者󰦆桑农 󰁠󰏶󰁠 󰀅󰠘 󰒡 󰊚󰁠

基金项目:国家自然科学基金项目󰢤󰆶󰆶󰍏

Supported by:󰏶󰠘󰓞󰄮󰁠󰏶󰣀 󰏶󰠘󰏶󰣀 󰊚󰓞󰒡󰁠󰊚󰒡 󰄮󰁠󰏶󰠘󰓞󰄮󰁠 󰄮 󰀅󰓞󰁠󰏶 󰢤󰆶󰆶󰍏

RGB-D 语义分割:深度信息的选择使用

赵经阳,余昌黔,桑农

󰣮

华中科技大学人工智能与自动化学院图像信息处理与智能控制教育部重点实验室󰔵武汉 󰆶󰍏

摘 要: 目的 在室内场景语义分割任务中󰔵深度信息会在一定程度上提高分割精度󰣆 但是如何更有效地利用深

度信息仍是一个开放性问题󰣆 当前方法大都引入全部深度信息󰔵然而将全部深度信息和视觉特征组合在一起可能

对模型产生干扰󰔵原因是仅依靠视觉特征网络模型就能区分的不同物体󰔵在引入深度信息后可能产生错误判断󰣆

此外󰔵卷积核固有的几何结构限制了卷积神经网络的建模能力󰔵可变形卷积 󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠󰔵󰥶 在一定程

度上缓解了这个问题󰣆 但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足󰔵限制了进一步发展󰣆

基于上述问题󰔵本文提出一种深度信息引导的特征提取󰒡󰠒󰠘󰀅 󰓞󰒡 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠󰔵󰥶󰋗模块󰣆 方法 深度信

息引导的特征提取模块包括深度信息引导的特征选择模块󰒡󰠒󰠘󰀅 󰓞󰒡 󰒡󰏶󰠘󰒡 󰒡󰣀󰒡󰊚󰠘󰓞󰄮󰁠󰔵󰥶和深度信息嵌入的

可变形卷积模块󰒡󰠒󰠘󰀅 󰒡󰇾󰣇󰒡󰒡 󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠󰔵󰥶󰥶󰣆 󰥶 可以筛选出关键的深度信息󰔵自适应地调整深

度信息引入视觉特征的比例󰔵在网络模型需要时将深度信息嵌入视觉特征󰣆 󰥶󰥶 在额外深度信息的引入下󰔵增强

了可变形卷积的特征提取能力󰔵可以根据物体形状提取更相关的特征󰣆 结果 为了验证方法的有效性󰔵在 

󰒡 󰄮 󰁠󰓞󰒡󰓞󰠘󰠤 󰥶󰒡󰠒󰠘󰀅 󰥶󰏶󰠘󰏶󰒡󰠘 󰁧数据集上进行一系列消融实验并与当前最好的方法进行比较󰔵使用平均交

并比󰇾󰒡󰏶󰁠 󰓞󰁠󰠘󰒡󰒡󰊚󰠘󰓞󰄮󰁠 󰄮󰒡 󰁠󰓞󰄮󰁠󰔵󰇾󰦈󰄮 和平均像素准确率  󰠒󰓞󰒡󰣀 󰏶󰊚󰊚󰏶󰊚󰠤󰔵󰊗 作为度量标准󰣆 结果显示󰔵在

 数据集上󰔵本文方法的 󰇾󰦈󰄮 和 󰊗 分别为 󰋃󰣫 % 和 󰍏󰍏󰣫 󰢤% 󰔵实现了较好的分割效果󰣆 结论 本文提出的深

度信息引导的特征提取模块󰔵可以自适应地调整深度信息嵌入视觉特征的程度󰔵更加合理地利用深度信息󰔵且在深

度信息的作用下提高可变形卷积的特征提取能力󰣆 此外󰔵本文提出的深度信息引导的特征提取模块可以比较方便

地嵌入当下流行的特征提取网络中󰔵提高网络的建模能力󰣆

关键词:语义分割󰈰󰣩󰣬󰥶深度信息引导的特征选择󰥶深度信息嵌入的可变形卷积 󰥶󰥶深度信息引导的

特征提取󰥶󰋗

RGB-D semantic segmentation󰦆 depth information selection

󰀅󰏶󰄮 󰓞󰁠󰠤󰏶󰁠󰔵  󰀅󰏶󰁠󰓞󰏶󰁠󰔵 󰏶󰁠 󰄮󰁠

󰣮

Key Laboratory of Ministry of Education for Image Processing and Intelligent Control󰔵 School of Artificial

Intelligence and Automation󰔵 Huazhong University of Science and Technology󰔵 Wuhan　 430074󰔵 China

Abstract󰦆 Objective 󰒡󰇾󰏶󰁠󰠘󰓞󰊚 󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠 󰓞 󰒡󰒡󰁠󰠘󰓞󰏶󰣀 󰠘󰄮 󰊚󰄮󰇾󰠒󰠘󰒡 󰓞󰓞󰄮󰁠 󰏶󰠒󰠒󰣀󰓞󰊚󰏶󰠘󰓞󰄮󰁠󰣫 󰦈󰠘 󰏶󰓞󰁠 󰒡󰏶󰊚󰀅 󰠒󰓞󰒡󰣀 󰠘󰄮 󰓞󰠘 󰊚󰄮󰒡󰣬

󰠒󰄮󰁠󰓞󰁠 󰊚󰏶󰠘󰒡󰄮󰠤 󰓞󰁠 󰏶󰁠 󰓞󰇾󰏶󰒡󰔵 󰀅󰓞󰊚󰀅 󰓞 󰏶 󰠒󰓞󰒡󰣀 󰣀󰒡󰒡󰣀󰒡 󰇾󰣀󰠘󰓞󰣬󰊚󰣀󰏶󰓞󰓞󰊚󰏶󰠘󰓞󰄮󰁠 󰠘󰏶󰣫 󰦈󰠘 󰓞 󰄮 󰒡󰏶󰠘 󰓞󰁠󰓞󰓞󰊚󰏶󰁠󰊚󰒡 󰓞󰁠 󰠘󰀅󰒡 󰓞󰒡󰣀 󰄮

󰏶󰠘󰄮󰇾󰏶󰠘󰓞󰊚 󰓞󰓞󰁠󰔵 󰓞󰠘󰏶󰣀 󰒡󰏶󰣀󰓞󰠘󰠤 󰏶󰁠 󰇾󰒡󰓞󰊚󰏶󰣀 󰓞󰇾󰏶󰒡 󰠒󰄮󰊚󰒡󰓞󰁠󰣫 󰀅󰒡 󰒡󰇾󰒡󰒡󰁠󰊚󰒡 󰄮 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠󰏶󰣀 󰁠󰒡󰏶󰣀 󰁠󰒡󰠘󰄮 

Vol. 27󰔵No. 8󰔵Aug. 2022

2474　

󰠒󰄮󰇾󰄮󰠘󰒡 󰠘󰀅󰒡 󰏶󰠒󰓞 󰒡󰒡󰣀󰄮󰠒󰇾󰒡󰁠󰠘 󰄮 󰁠󰒡󰏶󰣀 󰁠󰒡󰠘󰄮 󰓞󰁠 󰏶󰓞󰄮 󰠘󰏶 󰄮 󰊚󰄮󰇾󰠒󰠘󰒡 󰓞󰓞󰄮󰁠󰣫 󰀅󰒡 󰣀󰣀󰠤  󰀅󰏶 󰊚󰄮󰇾󰠒󰣀󰒡󰠘󰒡󰣀󰠤

󰊚󰀅󰏶󰁠󰒡 󰠘󰀅󰒡 󰠒󰏶󰠘󰠘󰒡󰁠 󰄮 󰒡󰇾󰏶󰁠󰠘󰓞󰊚 󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠 󰊚󰄮󰁠󰠘󰒡󰠘󰣫 󰓞󰠘󰀅 󰠘󰀅󰒡 󰏶󰒡󰁠󰠘 󰄮 󰒡󰠒󰠘󰀅 󰊚󰏶󰇾󰒡󰏶󰔵 󰓞󰠘 󰓞 󰇾󰄮󰒡 󰊚󰄮󰁠󰒡󰁠󰓞󰒡󰁠󰠘 󰠘󰄮 󰄮󰣇󰠘󰏶󰓞󰁠 󰠘󰀅󰒡

󰒡󰠒󰠘󰀅 󰓞󰇾󰏶󰒡 󰊚󰄮󰒡󰠒󰄮󰁠󰓞󰁠 󰠘󰄮 󰊚󰄮󰣀󰄮 󰓞󰇾󰏶󰒡󰣫 󰀅󰒡 󰒡󰠒󰠘󰀅 󰓞󰇾󰏶󰒡 󰓞 󰓞󰁠󰣀󰒡󰣬󰊚󰀅󰏶󰁠󰁠󰒡󰣀󰔵 󰏶󰁠 󰒡󰏶󰊚󰀅 󰏶󰣀󰒡 󰀅󰄮󰣀 󰣇󰒡 󰏶󰁠󰒡 󰄮󰇾 󰠘󰀅󰒡

󰠒󰓞󰒡󰣀 󰠘󰄮 󰠘󰀅󰒡 󰊚󰏶󰇾󰒡󰏶 󰠒󰣀󰏶󰓞󰁠 󰓞󰁠 󰠘󰀅󰒡 󰓞󰇾󰏶󰒡󰣫 󰦤󰣇󰓞󰄮󰣀󰠤󰔵 󰒡󰠒󰠘󰀅 󰓞󰇾󰏶󰒡 󰊚󰄮󰁠󰠘󰏶󰓞󰁠 󰠒󰏶󰠘󰓞󰏶󰣀 󰓞󰠘󰏶󰁠󰊚󰒡 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠󰔵 󰣇󰠘 󰊚󰄮󰣀󰄮 󰓞󰇾󰏶󰒡 󰏶󰒡

󰒡󰣀󰏶󰠘󰓞󰒡󰣀󰠤 󰓞󰁠󰓞󰊚󰓞󰒡󰁠󰠘󰣫 󰦈󰁠 󰠘󰀅󰒡 󰒡󰇾󰏶󰁠󰠘󰓞󰊚 󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠 󰠘󰏶󰔵 󰓞󰠘 󰓞 󰓞󰓞󰊚󰣀󰠘 󰄮 󰠘󰀅󰒡 󰁠󰒡󰠘󰄮 󰠘󰄮 󰓞󰠘󰓞󰁠󰓞󰀅 󰠘󰀅󰒡 󰏶󰡝󰏶󰊚󰒡󰁠󰠘 󰄮󰣇󰡝󰒡󰊚󰠘

󰓞󰠘󰀅 󰓞󰇾󰓞󰣀󰏶 󰏶󰠒󰠒󰒡󰏶󰏶󰁠󰊚󰒡 󰓞󰁠 󰠘󰀅󰒡 󰠒󰣀󰏶󰓞󰁠 󰓞󰇾󰏶󰒡󰔵 󰣇󰠘 󰠘󰀅󰒡 󰏶󰠒󰠒󰣀󰓞󰊚󰏶󰠘󰓞󰄮󰁠 󰄮 󰒡󰠒󰠘󰀅 󰓞󰇾󰏶󰒡 󰊚󰏶󰁠 󰣇󰒡 󰒡󰣀󰒡󰏶󰒡 󰠘󰄮 󰄮󰇾󰒡 󰒡󰠘󰒡󰁠󰠘󰣫 󰈰󰣩󰣬󰥶

󰒡󰇾󰏶󰁠󰠘󰓞󰊚 󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠 󰓞 󰄮󰊚󰒡 󰄮󰁠 󰒡󰊚󰒡󰁠󰠘󰣀󰠤󰣫 󰀅󰒡 󰏶󰠤 󰄮 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠󰣬󰒡󰇾󰣇󰒡󰒡 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰊚󰏶󰁠 󰣇󰒡 󰄮󰀅󰣀󰠤 󰓞󰓞󰣬

󰒡 󰓞󰁠󰠘󰄮 󰠘󰀅󰒡 󰄮󰣀󰣀󰄮󰓞󰁠 󰠘󰀅󰒡󰒡 󰊚󰏶󰠘󰒡󰄮󰓞󰒡 󰣀󰓞󰒡 󰄮󰁠󰒡󰣬󰠘󰒡󰏶󰇾󰔵 󰠘󰄮󰣬󰠘󰒡󰏶󰇾 󰏶󰁠 󰇾󰣀󰠘󰓞󰣬󰠘󰏶󰣫 󰦤󰁠󰒡󰣬󰠘󰒡󰏶󰇾 󰄮󰒡 󰁠󰄮󰠘 󰒡 󰒡󰠒󰠘󰀅 󰓞󰇾󰏶󰒡

󰏶 󰏶󰓞󰠘󰓞󰄮󰁠󰏶󰣀 󰓞󰁠󰠒󰠘 󰠘󰄮 󰒡󰠘󰏶󰊚󰠘 󰒡󰏶󰠘󰒡󰣫 󰦈󰠘 󰄮󰁠󰣀󰠤 󰀅󰏶 󰏶 󰣇󰏶󰊚󰣇󰄮󰁠󰒡 󰁠󰒡󰠘󰄮 󰠘󰄮 󰒡󰠘󰏶󰊚󰠘 󰒡󰏶󰠘󰒡 󰄮󰇾 󰊚󰄮󰣀󰄮 󰓞󰇾󰏶󰒡󰣫 󰦈󰁠 󰠘󰀅󰒡 󰠒󰄮󰊚󰒡

󰄮 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠󰔵 󰠘󰀅󰒡 󰓞󰁠󰀅󰒡󰒡󰁠󰠘 󰠒󰏶󰠘󰓞󰏶󰣀 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰄮 󰒡󰠒󰠘󰀅 󰓞󰇾󰏶󰒡 󰓞 󰒡 󰠘󰄮 󰏶󰓞󰠘 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰄮 󰒡󰇾󰏶󰁠󰠘󰓞󰊚

󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠 󰓞󰇾󰠒󰄮󰒡󰇾󰒡󰁠󰠘󰣫 󰄮󰣬󰠘󰒡󰏶󰇾 󰒡 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰓞󰇾󰏶󰒡 󰏶 󰏶󰁠 󰏶󰓞󰠘󰓞󰄮󰁠󰏶󰣀 󰓞󰁠󰠒󰠘 󰠘󰄮 󰒡󰠘󰏶󰊚󰠘 󰒡󰏶󰠘󰒡󰣫 󰀅󰒡󰒡 󰏶󰒡 󰇾󰏶󰓞󰁠󰣀󰠤

󰠘󰄮 󰣇󰏶󰊚󰣇󰄮󰁠󰒡 󰁠󰒡󰠘󰄮 󰓞󰁠󰄮󰣀󰒡󰔵 󰒡󰏶󰊚󰀅 󰄮 󰀅󰓞󰊚󰀅 󰒡󰠘󰏶󰊚󰠘 󰒡󰏶󰠘󰒡 󰄮󰇾 󰊚󰄮󰣀󰄮 󰓞󰇾󰏶󰒡 󰏶󰁠 󰒡󰠒󰠘󰀅 󰓞󰇾󰏶󰒡 󰒡󰏶󰊚󰀅󰣫 󰦈󰁠 󰠘󰀅󰒡 󰒡󰁠󰊚󰄮󰓞󰁠

󰠘󰏶󰒡 󰄮 󰒡󰊚󰄮󰓞󰁠 󰠘󰏶󰒡󰔵 󰠘󰀅󰒡 󰒡󰠘󰏶󰊚󰠘󰒡 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰏶󰒡 󰒡 󰓞󰠘󰀅 󰒡󰠒󰠘󰀅 󰒡󰏶󰠘󰒡 󰠘󰄮 󰒡󰏶󰣀󰓞󰒡 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰏶󰠒󰠒󰣀󰓞󰊚󰏶󰠘󰓞󰄮󰁠󰣫

󰣹󰣀󰠘󰓞󰣬󰠘󰏶 󰠒󰄮󰊚󰒡󰒡 󰒡󰇾󰏶󰁠󰠘󰓞󰊚 󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠󰔵 󰒡󰠒󰠘󰀅 󰒡󰠘󰓞󰇾󰏶󰠘󰓞󰄮󰁠 󰏶󰁠 󰏶󰊚󰒡 󰁠󰄮󰇾󰏶󰣀 󰒡󰠘󰓞󰇾󰏶󰠘󰓞󰄮󰁠 󰏶󰠘 󰠘󰀅󰒡 󰏶󰇾󰒡 󰠘󰓞󰇾󰒡󰣫 󰊚󰀅 󰏶 󰇾󰒡󰠘󰀅󰣬

󰄮 󰀅󰏶 󰄮󰁠󰒡 󰊚󰄮󰇾󰇾󰄮󰁠 󰣇󰏶󰊚󰣇󰄮󰁠󰒡 󰁠󰒡󰠘󰄮 󰄮󰁠󰣀󰠤󰣫 󰦈󰁠 󰠘󰀅󰒡 󰠒󰄮󰊚󰒡 󰄮 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰄮󰇾 󰊚󰄮󰣀󰄮 󰓞󰇾󰏶󰒡󰔵 󰇾󰣀󰠘󰓞 󰒡󰏶󰠘󰒡 󰓞󰁠󰠘󰒡󰏶󰊚󰠘󰓞󰄮󰁠

󰊚󰏶󰁠 󰓞󰇾󰠒󰄮󰒡 󰠘󰀅󰒡 󰠒󰒡󰄮󰇾󰏶󰁠󰊚󰒡 󰄮 󰒡󰏶󰊚󰀅 󰠘󰏶󰣫 󰒡󰓞󰄮 󰠘󰓞󰒡 󰀅󰏶󰒡 󰊚󰀅󰏶󰣀󰣀󰒡󰁠󰒡 󰠘󰄮 󰒡󰒡󰊚󰠘󰓞󰒡 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰏶 󰒡󰣀󰣀󰔵 󰏶󰁠

󰒡󰇾󰣇󰒡󰓞󰁠 󰏶󰣀󰣀 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰓞󰁠󰠘󰄮 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰇾󰏶󰠤 󰊚󰏶󰒡 󰓞󰁠󰠘󰒡󰒡󰒡󰁠󰊚󰒡 󰠘󰄮 󰠘󰀅󰒡 󰁠󰒡󰠘󰄮󰣫 󰀅󰒡 󰓞󰁠󰀅󰒡󰒡󰁠󰠘 󰊚󰄮󰣀󰄮 󰏶󰁠 󰠘󰒡󰠘󰒡

󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰊚󰏶󰁠 󰄮󰇾󰒡󰠘󰓞󰇾󰒡 󰊚󰣀󰒡󰏶󰣀󰠤 󰓞󰠘󰓞󰁠󰓞󰀅 󰠘󰄮 󰄮 󰇾󰄮󰒡 󰊚󰏶󰠘󰒡󰄮󰓞󰒡 󰓞󰁠 󰏶 󰊚󰄮󰣀󰄮 󰓞󰇾󰏶󰒡󰔵 󰀅󰒡󰒡 󰠘󰀅󰒡 󰏶󰓞󰠘󰓞󰄮󰁠 󰄮 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰣬

󰠘󰓞󰄮󰁠 󰓞 󰄮󰇾󰒡󰀅󰏶󰠘 󰓞󰣀󰓞󰁠 󰠘󰀅󰒡 󰣀󰓞󰣀󰠤󰣫 󰄮 󰒡󰏶󰇾󰠒󰣀󰒡󰔵 󰓞󰇾󰓞󰣀󰏶 󰒡󰠒󰠘󰀅 󰄮󰣇󰡝󰒡󰊚󰠘 󰊚󰏶󰁠 󰣇󰒡 󰓞󰠘󰓞󰁠󰓞󰀅󰒡 󰣇󰠤 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰒡󰊚󰣀󰒡 󰓞󰒡󰣬

󰒡󰁠󰠘 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡󰔵 󰣇󰠘 󰠘󰀅󰒡 󰏶󰓞󰠘󰓞󰄮󰁠 󰄮 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰓞󰣀󰣀 󰇾󰏶󰒡 󰠘󰀅󰒡 󰁠󰒡󰠘󰄮 󰊚󰄮󰁠󰒡 󰏶󰁠 󰒡󰒡󰁠 󰇾󰏶󰒡 󰄮󰁠 󰡝󰇾󰒡󰁠󰠘󰣫

󰣹󰄮󰒡󰄮󰒡󰔵 󰠘󰀅󰒡 󰓞󰁠󰀅󰒡󰒡󰁠󰠘 󰠘󰊚󰠘󰒡 󰄮 󰠘󰀅󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠 󰒡󰁠󰒡󰣀 󰣀󰓞󰇾󰓞󰠘 󰓞󰠘 󰏶󰣇󰓞󰣀󰓞󰠘󰠤 󰄮 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰓞󰁠 󰣫 󰄮 󰄮󰣀󰒡 󰠘󰀅󰓞 󰠒󰄮󰣇󰣬

󰣀󰒡󰇾󰔵 󰄮 󰠒󰄮󰠒󰄮󰒡 󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠 󰊚󰏶󰁠 󰣀󰒡󰏶󰁠 󰠘󰀅󰒡 󰄮󰒡󰠘 󰄮 󰠘󰀅󰒡 󰊚󰄮󰒡󰠒󰄮󰁠󰓞󰁠 󰠒󰄮󰓞󰁠󰠘 󰏶󰊚󰊚󰄮󰓞󰁠 󰠘󰄮 󰠘󰀅󰒡 󰓞󰁠󰠒󰠘󰔵 󰏶󰁠

󰒡󰠘󰏶󰊚󰠘 󰇾󰄮󰒡 󰒡󰒡󰊚󰠘󰓞󰒡 󰒡󰏶󰠘󰒡 󰓞󰁠 󰠘󰒡󰇾 󰄮 󰠘󰀅󰒡 󰀅󰏶󰠒󰒡 󰄮 󰠘󰀅󰒡 󰄮󰣇󰡝󰒡󰊚󰠘󰔵 󰠘󰀅 󰓞󰇾󰠒󰄮󰓞󰁠 󰠘󰀅󰒡 󰇾󰄮󰒡󰣀󰓞󰁠 󰏶󰣇󰓞󰣀󰓞󰠘󰠤 󰄮 󰠘󰀅󰒡 󰁠󰒡󰠘󰄮󰣫 󰄮󰣬

󰒡󰒡󰔵 󰓞󰠘 󰓞 󰓞󰁠󰓞󰊚󰓞󰒡󰁠󰠘 󰠘󰄮 󰣀󰒡󰏶󰁠 󰠘󰀅󰒡 󰄮󰒡󰠘 󰄮󰁠󰣀󰠤 󰣇󰠤 󰠘󰀅󰒡 󰓞󰁠󰠒󰠘 󰄮 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡󰔵 󰣇󰒡󰊚󰏶󰒡 󰠘󰀅󰒡 󰠒󰏶󰠘󰓞󰏶󰣀 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰄮 󰊚󰄮󰣀󰄮 󰓞󰇾󰏶󰒡

󰓞 󰒡󰠤 󰣀󰓞󰇾󰓞󰠘󰒡󰣫 Method 󰒡 󰒡󰒡󰣀󰄮󰠒 󰏶 󰒡󰠒󰠘󰀅 󰓞󰒡 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰇾󰄮󰣀󰒡 󰥶󰋗󰔵 󰀅󰓞󰊚󰀅 󰓞󰁠󰊚󰣀󰒡 󰒡󰠒󰠘󰀅 󰓞󰒡 󰒡󰏶󰠘󰒡

󰒡󰣀󰒡󰊚󰠘󰓞󰄮󰁠 󰇾󰄮󰣀󰒡 󰥶 󰏶󰁠 󰒡󰠒󰠘󰀅 󰒡󰇾󰣇󰒡󰒡 󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠 󰇾󰄮󰣀󰒡 󰥶󰥶󰣫 󰓞󰠘󰔵 󰠘󰀅󰒡 󰠒󰄮󰠒󰄮󰒡 󰒡󰠒󰠘󰀅 󰓞󰒡

󰒡󰏶󰠘󰒡 󰒡󰣀󰒡󰊚󰠘󰓞󰄮󰁠 󰇾󰄮󰣀󰒡 󰊚󰄮󰁠󰊚󰏶󰠘󰒡󰁠󰏶󰠘󰒡 󰠘󰀅󰒡 󰓞󰁠󰠒󰠘 󰄮 󰒡󰠒󰠘󰀅 󰒡󰏶󰠘󰒡 󰏶󰁠 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰓞󰁠 󰄮󰒡 󰠘󰄮 󰓞󰁠󰄮󰒡 󰠘󰀅󰒡 󰓞󰁠󰠘󰒡󰒡󰒡󰁠󰊚󰒡 󰄮󰁠

󰠘󰀅󰒡 󰁠󰒡󰠘󰄮 󰒡󰓞󰒡 󰄮󰇾 󰏶󰣀󰣀 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠󰔵 󰏶󰁠 󰠘󰀅󰒡󰁠 󰒡󰣀󰒡󰊚󰠘 󰠘󰀅󰒡 󰒡󰏶󰠘󰒡 󰓞󰠘󰀅 󰓞󰇾󰠒󰄮󰠘󰏶󰁠󰠘 󰓞󰁠󰣀󰒡󰁠󰊚󰒡 󰄮󰇾 󰠘󰀅󰒡 󰓞󰄮󰁠 󰒡󰏶󰣬

󰠘󰒡 󰠘󰀅󰄮󰀅 󰠘󰀅󰒡 󰊚󰀅󰏶󰁠󰁠󰒡󰣀 󰏶󰠘󰠘󰒡󰁠󰠘󰓞󰄮󰁠 󰇾󰒡󰠘󰀅󰄮󰣫 󰒡󰠘󰔵 󰠘󰀅󰒡 󰒡󰓞󰀅󰠘 󰇾󰏶󰠘󰓞 󰄮 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰒡󰏶󰠘󰒡 󰓞 󰄮󰣇󰠘󰏶󰓞󰁠󰒡 󰠘󰀅󰄮󰀅    󰊚󰄮󰁠󰄮󰣀󰣬

󰠘󰓞󰄮󰁠 󰏶󰁠 󰓞󰇾󰄮󰓞 󰁠󰊚󰠘󰓞󰄮󰁠󰣫 󰊗󰠘󰒡 󰇾󰣀󰠘󰓞󰠒󰣀󰠤󰓞󰁠 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰒡󰏶󰠘󰒡 󰏶󰁠 󰠘󰀅󰒡 󰊚󰄮󰒡󰠒󰄮󰁠󰓞󰁠 󰒡󰓞󰀅󰠘 󰇾󰏶󰠘󰓞󰔵 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠

󰠘󰄮 󰣇󰒡 󰒡󰇾󰣇󰒡󰒡 󰓞󰁠 󰠘󰀅󰒡 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰓞 󰄮󰣇󰠘󰏶󰓞󰁠󰒡󰣫 󰀅󰓞 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰓞 󰠘󰀅󰒡󰁠 󰏶󰒡 󰠘󰄮 󰠘󰀅󰒡 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡󰣫 󰓞󰁠󰊚󰒡 󰠘󰀅󰒡

󰒡󰓞󰀅󰠘 󰇾󰏶󰠘󰓞 󰊚󰄮󰒡󰠒󰄮󰁠󰓞󰁠 󰠘󰄮 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰒡󰏶󰠘󰒡 󰓞 󰄮󰣇󰠘󰏶󰓞󰁠󰒡 󰣇󰠤 󰣀󰒡󰏶󰁠󰓞󰁠󰔵 󰠘󰀅󰒡 󰁠󰒡󰠘󰄮 󰊚󰏶󰁠 󰏶󰡝󰠘 󰠘󰀅󰒡 󰁠󰇾󰣇󰒡 󰄮 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰣬

󰇾󰏶󰠘󰓞󰄮󰁠 󰏶󰒡󰏶󰠘󰒡󰣀󰠤󰔵 󰏶󰠘󰀅󰒡 󰠘󰀅󰏶󰁠 󰏶󰊚󰊚󰒡󰠒󰠘󰓞󰁠 󰏶󰣀󰣀 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠󰣫 󰄮 󰓞󰁠󰠘󰏶󰁠󰊚󰒡󰔵 󰠘󰀅󰒡 󰠒󰄮󰠒󰄮󰠘󰓞󰄮󰁠 󰄮 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰓞󰣀󰣀 󰣇󰒡

󰓞󰁠󰊚󰒡󰏶󰒡 󰓞 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰓞 󰁠󰒡󰒡󰒡 󰄮 󰊚󰣀󰏶󰓞󰓞󰊚󰏶󰠘󰓞󰄮󰁠󰣫 󰦤󰠘󰀅󰒡󰓞󰒡󰔵 󰠘󰀅󰒡 󰠒󰄮󰠒󰄮󰠘󰓞󰄮󰁠 󰄮 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰓞󰣀󰣀 󰣇󰒡

󰒡󰊚󰒡󰏶󰒡󰣫 󰦈󰁠 󰄮󰒡 󰠘󰄮 󰠒󰄮󰇾󰄮󰠘󰒡 󰠘󰀅󰒡 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰊚󰏶󰠒󰏶󰣇󰓞󰣀󰓞󰠘󰠤 󰄮 󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠 󰊚󰄮󰇾󰠒󰣀󰒡󰠘󰒡󰣀󰠤󰔵 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰒡󰇾󰣇󰒡󰒡

󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠 󰇾󰄮󰣀󰒡 󰓞 󰠒󰄮󰠒󰄮󰒡󰣫 󰥶󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠󰣬󰒡󰇾󰣇󰒡󰒡 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰏶󰒡 󰠘󰏶󰒡󰁠 󰏶 󰓞󰁠󰠒󰠘 󰠘󰄮 󰣀󰒡󰏶󰁠 󰠘󰀅󰒡 󰄮󰣬

󰒡󰠘 󰄮 󰏶󰇾󰠒󰣀󰓞󰁠 󰠒󰄮󰓞󰁠󰠘󰣫 󰀅󰒡 󰏶󰓞󰠘󰓞󰄮󰁠 󰄮 󰒡󰠒󰠘󰀅 󰒡󰏶󰠘󰒡 󰇾󰏶󰒡 󰠒 󰄮 󰠘󰀅󰒡 󰒡󰓞󰊚󰓞󰒡󰁠󰊚󰠤 󰄮 󰒡󰄮󰇾󰒡󰠘󰓞󰊚 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰄮 󰓞󰏶󰣀 󰒡󰏶󰣬

󰠘󰒡󰣫 Result 󰦈󰁠 󰄮󰒡 󰠘󰄮 󰒡󰓞󰠤 󰠘󰀅󰒡 󰒡󰒡󰊚󰠘󰓞󰒡󰁠󰒡 󰄮 󰠘󰀅󰒡 󰇾󰒡󰠘󰀅󰄮󰔵 󰏶 󰒡󰓞󰒡 󰄮 󰏶󰣇󰣀󰏶󰠘󰓞󰄮󰁠 󰒡󰠒󰒡󰓞󰇾󰒡󰁠󰠘 󰏶󰒡 󰊚󰏶󰓞󰒡 󰄮󰠘 󰄮󰁠 󰠘󰀅󰒡 󰒡

󰄮 󰁠󰓞󰒡󰓞󰠘󰠤 󰥶󰒡󰠒󰠘󰀅 󰥶󰏶󰠘󰏶󰒡󰠘 󰁧  󰊚󰄮󰇾󰠒󰏶󰒡 󰠘󰄮 󰠘󰀅󰒡 󰊚󰒡󰁠󰠘 󰇾󰒡󰠘󰀅󰄮󰣫 󰣹󰒡󰏶󰁠 󰓞󰁠󰠘󰒡󰒡󰊚󰠘󰓞󰄮󰁠 󰄮󰒡 󰁠󰓞󰄮󰁠 󰇾󰦈󰄮 󰏶󰁠

󰇾󰒡󰏶󰁠 󰠒󰓞󰒡󰣀 󰏶󰊚󰊚󰏶󰊚󰠤 󰇾󰊗 󰏶󰒡 󰒡 󰏶 󰠘󰀅󰒡 󰇾󰒡󰏶󰒡󰇾󰒡󰁠󰠘 󰊚󰓞󰠘󰒡󰓞󰏶󰣫 󰦤 󰇾󰒡󰠘󰀅󰄮 󰏶󰊚󰀅󰓞󰒡󰒡 󰋃󰣫 % 󰄮 󰇾󰦈󰄮 󰏶󰁠 󰍏󰍏󰣫 󰢤% 󰄮

󰊗 󰄮󰁠 󰔵 󰒡󰠒󰒡󰊚󰠘󰓞󰒡󰣀󰠤󰣫 󰀅󰒡 󰓞󰏶󰣀󰓞󰏶󰠘󰓞󰄮󰁠 󰒡󰣀󰠘 󰄮 󰒡󰇾󰏶󰁠󰠘󰓞󰊚 󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠 󰏶󰒡 󰒡󰇾󰄮󰁠󰠘󰏶󰠘󰒡 󰠘󰄮 󰠒󰄮󰒡 󰠘󰀅󰒡 󰒡󰒡󰊚󰠘󰓞󰒡󰁠󰒡

󰄮 󰠘󰀅󰒡 󰇾󰒡󰠘󰀅󰄮󰣫 Conclusion 󰒡 󰏶󰊚󰓞󰣀󰓞󰠘󰏶󰠘󰒡 󰠘󰀅󰒡 󰒡󰠒󰠘󰀅 󰓞󰒡 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰇾󰄮󰣀󰒡 󰥶󰋗󰔵 󰀅󰓞󰊚󰀅 󰓞󰁠󰊚󰣀󰒡 󰒡󰠒󰠘󰀅 󰓞󰒡

󰒡󰏶󰠘󰒡 󰒡󰣀󰒡󰊚󰠘󰓞󰄮󰁠 󰇾󰄮󰣀󰒡 󰥶 󰏶󰁠 󰒡󰠒󰠘󰀅 󰒡󰇾󰣇󰒡󰒡 󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠 󰇾󰄮󰣀󰒡 󰥶󰥶󰣫 󰥶 󰊚󰏶󰁠 󰏶󰏶󰠒󰠘󰓞󰒡󰣀󰠤 󰒡󰠘󰒡󰣬

󰇾󰓞󰁠󰒡 󰠘󰀅󰒡 󰠒󰄮󰠒󰄮󰠘󰓞󰄮󰁠 󰄮 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰓞󰁠 󰠘󰒡󰇾 󰄮 󰠘󰀅󰒡 󰓞󰁠󰠒󰠘 󰄮 󰓞󰏶󰣀 󰒡󰏶󰠘󰒡 󰏶󰁠 󰒡󰠒󰠘󰀅 󰒡󰏶󰠘󰒡󰣫 󰥶󰥶 󰒡󰁠󰀅󰏶󰁠󰊚󰒡 󰠘󰀅󰒡 󰒡󰏶󰣬

󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰊚󰏶󰠒󰏶󰣇󰓞󰣀󰓞󰠘󰠤 󰄮 󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰠘󰓞󰄮󰁠 󰠘󰀅󰄮󰀅 󰒡󰇾󰣇󰒡󰓞󰁠 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠󰔵 󰏶󰁠 󰊚󰏶󰁠 󰒡󰠘󰏶󰊚󰠘 󰇾󰄮󰒡 󰒡󰒡󰊚󰠘󰓞󰒡

󰒡󰏶󰠘󰒡 󰓞󰏶 󰠘󰀅󰒡 󰀅󰏶󰠒󰒡 󰄮 󰄮󰣇󰡝󰒡󰊚󰠘󰣫 󰦈󰁠 󰏶󰓞󰠘󰓞󰄮󰁠󰔵 󰄮 󰒡󰓞󰁠󰒡 󰇾󰄮󰣀󰒡 󰊚󰏶󰁠 󰣇󰒡 󰒡󰇾󰣇󰒡󰒡 󰓞󰁠󰠘󰄮 󰠘󰀅󰒡 󰊚󰒡󰁠󰠘 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰁠󰒡󰠘󰣬

第 27 卷／第 8 期／2022 年 8 月赵经阳，余昌黔，桑农 / RGB-D 语义分割：深度信息的选择使用

2475　

󰄮󰣫 󰀅󰒡 󰒡󰠒󰠘󰀅 󰓞󰁠󰄮󰇾󰏶󰠘󰓞󰄮󰁠 󰊚󰏶󰁠 󰣇󰒡 󰒡 󰠘󰄮 󰓞󰇾󰠒󰄮󰒡 󰠘󰀅󰒡 󰇾󰄮󰒡󰣀󰓞󰁠 󰏶󰣇󰓞󰣀󰓞󰠘󰠤 󰄮 󰠘󰀅󰒡 󰁠󰒡󰠘󰄮 󰒡󰒡󰊚󰠘󰓞󰒡󰣀󰠤󰣫

Key words󰦆 󰒡󰇾󰏶󰁠󰠘󰓞󰊚 󰒡󰇾󰒡󰁠󰠘󰏶󰠘󰓞󰄮󰁠 󰈰󰣩󰣬󰥶 󰒡󰠒󰠘󰀅 󰓞󰒡 󰒡󰏶󰠘󰒡 󰒡󰣀󰒡󰊚󰠘󰓞󰄮󰁠 󰥶 󰒡󰠒󰠘󰀅 󰒡󰇾󰣇󰒡󰒡 󰒡󰄮󰇾󰏶󰣇󰣀󰒡 󰊚󰄮󰁠󰄮󰣀󰣬

󰠘󰓞󰄮󰁠 󰥶󰥶 󰒡󰠒󰠘󰀅 󰓞󰒡 󰒡󰏶󰠘󰒡 󰒡󰠘󰏶󰊚󰠘󰓞󰄮󰁠 󰥶󰋗

0　引　言

语义分割是计算机视觉领域中的一项基本任

务󰔵目标是将图像中的每一个像素分配给对应的类

别󰔵是像素级别的多分类任务󰣆 在自动驾驶虚拟现

实和医学图像处理等领域具有重要意义󰣆 卷积神经

网络促使神经网络迅速发展󰔵在计算机视觉各项任

务中均取得最好效果󰢞󰓞󰀅󰒡󰠤 等󰔵󰓞󰇾󰄮󰁠󰠤󰏶󰁠

和 󰓞󰒡󰇾󰏶󰁠󰔵󰋃󰒡 等󰔵󰢤󰣆 而全卷积神经网

络󰑣󰄮󰁠 等󰔵󰋃彻底改变了语义分割等领域的格

局󰔵依靠编码器󰖖解码器的结构󰔵降低了对图像尺寸

的依赖󰔵无论输入编码器图像尺寸如何󰔵都可在解码

器输出部分得到相同大小的分割图像󰣆 一系列基于

全卷积神经网络的语义分割研究  󰀅󰒡󰁠 等󰔵󰍏󰔵

󰏶󰑣󰓞󰁠 等󰔵󰢤󰑣󰓞 等󰔵󰋃 极大地推动了语

义分割的发展󰣆

由于深度相机的出现 󰀅󰏶󰁠󰔵󰔵可以比较

方便地获取彩色图像对应的深度图像󰣆 深度图是单

通道图像󰔵图像中的每个值对应该像素点到相机平

面的距离󰣆 显而易见󰔵深度图含有彩色图像相对匮

乏的空间深度信息󰣆 在语义分割任务中󰔵彩色图像

中外观相似的相邻物体是网络难以区分的󰔵但深度

图像的应用可以在一定程度上缓解这个问题󰣆 尽管

外观特征相似󰔵但其在 󰆶󰥶 空间中相距甚远󰔵这可以

帮助网络进行分类󰣆 󰣩󰠒󰠘󰏶 等人 将深度图转

化为三通道的 󰊗  󰀅󰄮󰓞󰄮󰁠󰠘󰏶󰣀 󰓞󰠒󰏶󰓞󰠘󰠤󰔵 󰀅󰒡󰓞󰀅󰠘

󰏶󰣇󰄮󰒡 󰄮󰁠 󰏶󰁠 󰏶󰁠󰣀󰒡 󰓞󰠘󰀅 󰏶󰓞󰠘󰠤 图像󰔵丰富了深

度图像信息󰣆

近年有不少关于 󰈰󰣩󰣬󰥶 语义分割的研究󰓞󰏶󰁠

等󰔵󰢏󰓞󰁠 等󰔵󰔵但如何更有效地提取深度

信息并嵌入到视觉特征仍是一个值得探索的问题󰣆

彩色图像由于其明亮的颜色和清晰的纹理󰔵蕴含了

良好的语义信息󰣆 而与彩色图像对齐的深度图像存

在较为准确的深度数据󰔵含有区别于彩色图像的空

间信息󰣆 两种图像既有差异性也有互补性󰔵如果简

单地将全部深度信息和视觉特征组合在一起󰔵可能

会对网络产生干扰󰣆 根据将深度信息嵌入视觉特征

的方式󰔵大部分研究方法可以大致分为以下 󰆶 类󰦆单

流󰄮󰁠󰒡󰣬󰠘󰒡󰏶󰇾 方法󰏶󰁠 和 󰒡󰇾󰏶󰁠󰁠󰔵󰢏󰓞󰁠

等󰔵双流󰠘󰄮󰣬󰠘󰒡󰏶󰇾 方法 󰀅󰒡󰁠 等󰔵󰍏

󰑣󰒡󰒡 等󰔵󰍏以及多任务 󰇾󰣀󰠘󰓞󰣬󰠘󰏶 方法󰢏 等󰔵

󰀅󰏶󰁠 等󰔵󰣆 单流方法不会将深度图作

为额外输入而对其提取特征󰔵只有一个对彩色图像

进行特征提取的主干 󰣇󰏶󰊚󰣇󰄮󰁠󰒡 网络󰔵特征提取过

程中利用深度图固有空间信息辅助视觉特征提取󰔵

以达到提高语义分割的效果或是采用多个卷积核

沿深度方向对输入图像提取特征󰔵每个卷积核处理

不同深度的像素点󰔵最后将多个卷积核的计算结果

相加󰣆 双流方法将深度图作为额外输入而对其提取

特征󰔵主要存在两个主干网络󰔵每个主干网络分别对

彩色图像和深度图像提取特征󰔵在编码或解码阶段

将提取的视觉特征与深度特征融合󰔵达到利用深度

信息的目的󰣆 多任务方式与上述两种方式显著不

同󰔵将语义分割深度估计以及表面法线估计等多种

任务一同处理󰔵这类方式往往只有一个共用的主干

网络󰔵在对彩色图像进行特征提取过程中󰔵根据不同

任务的监督可以得到多个任务相似的特征以及互补

的特征󰔵不同任务间特征的交互会提高各个任务的

性能󰣆 除此之外󰔵󰄮󰁠 等人 󰍏 和 󰀅󰄮󰁠 等人

利用深度信息将彩色图像映射到 󰆶󰥶 空间

中󰔵使用 󰆶󰥶 卷积对图像进行特征提取󰔵然而这种方

法得到的 󰆶󰥶 数据是比较稀疏的󰔵对于计算资源和

存储空间要求较高󰔵从而限制了它的应用󰣆 󰓞 等人

󰍏在 󰆶󰥶 点云的基础上构建了 󰢞󰣬近邻图  󰢞󰣬

󰁠󰒡󰏶󰒡󰠘 󰁠󰒡󰓞󰀅󰣇󰄮 󰏶󰠒󰀅󰔵通过循环迭代方式更新节

点的特征表示󰣆

以上研究都忽略了同一个问题󰔵即并非所有的

深度信息都是必要的󰔵将全部深度信息嵌入视觉特

征可能会对网络造成干扰󰣆 彩色图像固有的颜色和

纹理信息有时完全可以清楚地区分两个或多个类

别󰔵此时深度信息的加入多少有些画蛇添足的味道󰣆

例如󰔵深度特征相似但视觉特征不同的物体本可以

由视觉特征区分󰔵此时加入深度信息反而会使网络

模型做出错误判断󰣆 如图  所示󰔵图 󰏶中的毛巾

橙色框中物体仅通过视觉特征󰔵即仅将彩色图像

剩余13页未读，继续阅读

评论收藏

内容反馈

普通网友

粉丝: 1283
资源:
5615

RGB-D语义分割：深度信息的选择使用

基于多特征LightGBM的RGB-D场景分割方法研究.pdf

基于多特征LightGBM的RGB-D场景分割方法研究.docx

2018_Frustum PointNets for 3D Object Detection from RGB-D Data论文翻译

FusionVision：使用YOLO和快速分割任何东西的RGB-D相机进行3D对象重建和分割的综合方法

深度学习计算机网络中图像语义分割算法研究.pdf

[CVPR'19]3D-SIS：RGB-D扫描的3D语义实例分割_Python_C++_下载.zip

基于深度学习的RGB-D物体识别算法.pdf

matlabrgb代码-rcnn-depth:从RGB-D图像中学习丰富的功能以进行对象检测和分割

20200894_RGB-D Salient Object Detection A Survey.pdf

ECCV2020语义分割论文_神经网络_深度学习_语义分割_

基于彩色-深度图像和深度学习的场景语义分割网络.pdf

基于语义先验和深度约束的室内动态场景RGB-D SLAM算法.docx

基于深度学习的语义分割网络.pdf

Cityscape数据集处理流程 for RGBD语义分割

sunrgbd-meta-data:sunrgbd的火车测试标签

基于深度学习的三维点云语义分割方法综述.pdf

精品--3D点云目标检测&amp;语义分割(深度学习)-SOTA方法,代码,论文,数据集等.zip

30篇关于语义分割的paper

KITTI语义分割数据集

DS-SLAM语义.pdf

semantic_slam_nav_ros-master.zip

多模态数据下的光流预测.pptx

基于卷积神经网络的交通场景语义分割方法研究.pdf

Internship_2021:Github页面用于语义分割工作的实习描述

visual-slam-roadmap：2021年成为Visual-SLAM开发人员的路线图

最新资源

精品--3D点云目标检测&语义分割(深度学习)-SOTA方法,代码,论文,数据集等.zip