没有合适的资源?快使用搜索试试~ 我知道了~
基于语义特征的视觉定位研究.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 120 浏览量
2023-02-23
20:36:27
上传
评论
收藏 702KB DOCX 举报
温馨提示
试读
11页
基于语义特征的视觉定位研究.docx
资源推荐
资源详情
资源评论
摘要
传统的视觉定位是通过提取图像的低级几何特征进行匹配从而实现对自身位姿的确定,这种特征不
仅容易受角度、光照等的影响,而且缺少对场景的理解,不能利用常见导航地图,不易与人进行交
互。为此提出了一种采用语义特征的视觉定位,利用视觉传感器及语义地图,通过语义特征的提取
和匹配,实现对所处环境的感知并明确自身的位置。这种视觉定位能够弥补低级特征的缺点,并且
能有效的利用现有地图,对周围环境进行感知。
Abstract
The traditional visual location is to determine the pose by matching the low-level
geometric features of the image. This feature is not only easily affected by angle
and lighting, but also lacks understanding of the scene and can't use common
navigation maps. It is not easy to interact with people. This paper introduces a way
of visual positioning based on semantic features, using visual sensors and
semantic maps, and realizing the perception of the environment and location
through extracting and matching semantic characteristics. This visual positioning
can make up for the shortcomings of low-level features, and effectively utilize
existing maps to perceive the surrounding environment.
译
关键词
语义特征; 视觉定位; 语义定位; 环境感知
Keywords
semantic characteristics; visual location; semantic positioning; environmental
perception
译
视觉定位的基本流程一般包含特征提取、特征匹配及运动估计等步骤,其中,传统方法中特征提取
是提取图像的角点特征,如 SIFT 特征点、ORB 特征点等。然而这种基于角点特征的定位方式存在
一定的局限性,一方面,有些角点特征容易受到视角、光照等因素的影响,导致在某些场景下不可
用。另一方面,角点这种像素级的特征缺乏对场景的理解,很难与人类和现有地图进行交互。
所谓语义,就是将低级特征进一步归纳组织,达到人所理解的分类层面。语义特征相较于角点特征
更接近人类认知世界的方式,语义在图像认知、环境感知和定位领域已经越来越得到重视。为了获
取更加丰富的环境信息,在 SLAM( simultaneous localization and mapping)技术上增加语
义的理解显得尤为重要,相较于典型的低级特征,语义特征能够更好的表示所处的环境是什么,环
境中包含哪些物体。
近年来,随着深度学习与计算机硬件的迅速发展,目标检测与深度学习的结合,物体识别和分割的
可用性不断提高,语义特征的提取不再遥不可及。目前典型的基于深度学习的目标检测,有以 YOLO
系列
[ 1-3 ]
为代表的 One-stage 方法和以 Faster RCNN 系列
[ 4-7 ]
为代表的 Two-Stage 方法。随
着优秀语义信息提取框架的不断涌现,语义特征在定位中也有许多尝试,不断有研究用语义信息来
优化传统的 SLAM。文献[8]中 SalientDSO 在 DSO(direct sparse odometry)基础上利用
语义信息来调整选取特征点的权重,文献[9]中利用语义信息选择具有更大信息量的特征点。除
了利用语义信息改进特征点选取策略的研究,利用语义信息来去除动态点的干扰、闭环检测等的研
究也不断涌现
[ 10-13]
。
语义信息在建图中也有很多应用,早期的 SLAM++是将物体识别与基于尺度不变特征变换(scale
invariant feature transform, SIFT)特征点的视觉定位结合
[ 14]
,利用 SIFT 特征点识别物体,
然后生成局部语义地图。后来 Fioraio 等
[ 15]
将 3D 物体的识别加入到 SLAM 构建的地图中。在原
本 SLAM 建图的基础上加入语义信息的方案在逐步完善
[ 16-20]
。然而,在目前常见的地图中,存储
传统 SLAM 中特征点的代价是巨大的。因此,本文提出一种基于语义特征的视觉定位方法,通过语
义特征和地图实现定位。
1 语义定位的基本原理
1.1 系统概述
本文基于语义特征的视觉定位的系统流程图如图 1 所示。首先,在对采集的图像进行预处理后,训
练卷积神经网络,使其能提取训练过的语义特征,并利用训练好的神经网络实现对图像中的静态语
义特征的提取,得到图像中包含的语义及其在图像中的位置;然后,根据视觉几何原理恢复图像中
语义的点云,并进一步恢复其几何模型以确定语义特征的位置;最后结合语义地图,对语义特征进
行匹配,从而实现定位。
图 1 语义特征定位算法流程图
Fig.1 Flow Chart of Localization Algorithm Based on Semantic
Characteristics
下载: 原图 | 高精图 | 低精图
1.2 提取语义特征
对于一幅图像,人类的视觉系统可以直接将图像内容识别为语义对象,而计算机则是以底层的像素
特征为依据,即计算机中对图像的存储是以像素为单位的矩阵形式。图像的语义特征即图像中包含
剩余10页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3676
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功