没有合适的资源?快使用搜索试试~ 我知道了~
基于事件相机的定位与建图算法 综述.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 21 浏览量
2023-02-23
20:19:40
上传
评论
收藏 1.48MB DOCX 举报
温馨提示
试读
16页
基于事件相机的定位与建图算法 综述.docx
资源推荐
资源详情
资源评论
感知自身在空间中的位置、方向、速度以及周围环境信息, 是自动驾驶系统、移动机
器人等无人系统进行自主导航、路径规划
[1]
等任务的前提. 因此, 同时定位与建图
(Simultaneous localization and mapping, SLAM)技术
[2]
被广泛应用于自动驾驶、移动机器人、
无人机、增强现实
[3]
等领域. 在 SLAM 算法中常用的传感器包括全球导航卫星系统(Global
navigation satellite system, GNSS)、惯性导航系统(Inertial navigation system, INS)、激光雷达
(Light detection and ranging, Lidar)、毫米波雷达(Radio detection and ranging, Radar)、相机等.
相较于其他传感器, 相机具有体积小、成本低、易部署、低功耗、能够提供丰富的信息等
优点; 但由于其视野受限、容易受光照影响, 同时无法直接获得深度信息, 基于视觉的定位
与建图
[4-6]
方法比其他传感器的方法更复杂. 因此, 视觉 SLAM 一直是 SLAM 领域里备受关
注的研究方向.
单目相机无法获得深度信息, 这不仅使单目 SLAM 算法更复杂, 而且导致通过单目
SLAM 算法得到的相机位姿和地图具有尺度不确定性. 而利用多个相机之间的内参
(Intrinsic)和外参(Extrinsic), 则可以将多个相机组成双目或多目相机系统; 然后, 根据多目
相机系统对同一点的组合观测, 再利用三角测量的原理便可以计算出该点的深度. 早在
2003 年, Olson 等
[7]
便使用这种方法进行相机的位姿估计. 然而由于计算量较大, 三角测量
通常只能针对稀疏的特征点; 对所有像素进行三角测量和深度恢复, 需要有额外的设备和算
法来支持. 随着传感器技术的发展, 以微软的 Kinect
[8]
为代表的 RGB-D 相机可以通过红外
结构光或飞行时间法(Time of flight, TOF)来直接获取场景中的三维信息, 使得 RGB-D 相机
成为视觉 SLAM 中代替双目相机的可选方案
[9]
. 除此之外, 一些研究者结合相机和 IMU 两
种传感器来构建视觉−惯性系统(Visual-inertial system, VIS)
[10-11]
, 利用视觉信息修正 IMU 的
累积误差, 同时利用 IMU 提供的线加速度和角速度获得相机的绝对位姿, 为视觉里程计提
供良好的位姿初值, 并且可以为图像进行运动矫正. 视觉 SLAM 技术发展至今, 领域内已经
有许多经典的算法, 其中基于纯视觉的代表性算法有 PTAM
[12]
、ORB-SLAM
[13-14]
、
SVO
[15]
、LSD-SLAM
[16-17]
等, 基于视觉−惯性系统的代表性工作有 MSCKF
[18]
、OKVIS
[19]
以
及香港科技大学研发的 VINS
[20]
等.
尽管相机凭借其自身的优势, 在 SLAM 领域中被广泛地应用, 但是传统的 CMOS
[21]
相
机(Active pixel sensor, APS)存在着不少缺陷: 每个像素需要统一时间曝光, 快速运动时图像
容易产生运动模糊; 相机获取信息的频率受曝光时间的限制; 在高动态范围(High dynamic
range, HDR)的场景下容易出现图像部分过曝或部分欠曝的现象, 导致场景细节丢失. 这些
缺陷的存在限制了视觉 SLAM 的使用场景, 因此一类新型的基于事件的动态视觉相机进入
了 SLAM 研究者们的视野. 基于事件的相机(简称事件相机)是一类异步(Asynchronous)的相
机
[22]
, 它的诞生是受到了生物视网膜的启发. 事件相机不再像传统的相机那样需要外部信号
来触发像素统一曝光而获得完整的图像, 而是每个像素单独检测相对光照变化, 并输出光照
变化的像素地址−事件(Address-event, AE)流. 图 1
[47]
为带一个黑色圆点的匀速旋转圆盘在事
件相机中产生地址−事件流的示意图. 其中 X、Y 轴张成像素地址空间, 不同时刻被激发的
像素点在时空上形成一条螺旋线.
图 1 事件相机输出的地址−事件流
[47]
Fig. 1 Address-event stream output by event-based camera
[47]
下载: 全尺寸图片 幻灯片
传统相机的曝光时间是固定的, 即便某个像素上的光照没有发生变化, 它也会重复曝
光. 这种工作原理导致传统相机输出的图像有高延迟、高冗余的缺点. 而事件相机只输出由
光照变化所触发的“事件”, 因此其输出的事件流是稀疏的、低延迟以及低冗余的. 此外, 事
件相机在高动态范围的场景下也能良好地工作. 有着上述的优势, 事件相机在运动物体追踪
[23-25]
、光流估计
[26-29]
、高动态范围图像重建
[30]
等问题上都得到成功的应用.
本文将对事件相机及其在 SLAM 领域的算法做详细的介绍, 文章结构如下: 第 1 节将
介绍不同类型的事件相机; 第 2 节将介绍与分析基于事件相机的定位与建图算法; 用于定
位与建图算法的事件相机数据集将在第 3 节介绍; 最后, 第 4 节是总结与展望.
1. 不同种类的事件相机及其工作原理
1.1 事件相机概况
事件相机的出现, 可以追溯到 1992 年, Mahowald 在他的博士论文
[31]
中提出了一种新型
视觉传感器“硅视网膜” (“Silicon retina”). 这是首个输出地址−事件流的视觉传感器, 但它只
是事件相机的雏形; 像素面积过大导致它无法被实际使用. 在随后几十年的发展中, 越来越
多像素面积更小, 填充因数(Fill factor)更大的事件相机被研发出来
[32]
. 其中被广泛接受并使
用的可分为以下三类: DVS(Dynamic vision sensor)、ATIS (Asynchronous time based image
sensor)、DAVIS (Dynamic and active pixel vision sensor). DVS 是输出只有事件流的事件相
机, 而 ATIS 和 DAVIS 除了能够输出事件流, 还能够输出灰度信息. 上述三种事件相机已经
有商用产品的版本, 包括 iniVation 公司的 DVS128
[34]
、DAVIS240
[39]
, Prophesee 公司的
ATIS
[37]
, CelePixel 公司的 CeleX-IV
[40]
. 除此之外, 考虑到无论是自然界动物的视觉还是传统
的 APS 相机都可以获取颜色信息, 研究者们尝试利用滤镜或分色棱镜, 将颜色信息融入到
事件相机中
[41-43]
. 不过这方面的工作仍处在学术研究的阶段. 本节的后续部分将对 DVS、
ATIS、DAVIS 这三种事件相机的工作原理进行介绍.
1.2 DVS
DVS 是只输出地址−事件流(简称事件流)的一类事件相机
[33-35]
, 它的单个像素结构和工
作原理简化图分别如图 2
[34]
以及图 3
[34]
所示. 其工作原理与传统的 APS 相机截然不同: 每个
像素单独地检测照射到该像素上的光强对数(Log intensity)的变化, 并根据光强对数的变化
异步地输出变亮(“ON”)或者变暗(“OFF”)事件. 更具体地说, 当某个像素激发一个变亮或变
暗事件时, 它会通过重置操作(Reset)来记录当前时刻的光强对数, 并持续检测光强对数的变
化. 一旦某个时刻的光强对数相较于记录中的光强对数的增大或减小量超过一定的阈值, 该
像素会激发一个新的变亮或变暗事件, 并记录新的光强对数. 由像素阵列激发的事件, 经过
外围器件的处理后便可以发送给上位机.
图 2 DVS 像素结构原理图
[34]
Fig. 2 Abstracted DVS pixel core schematic
[34]
下载: 全尺寸图片 幻灯片
图 3 DVS 工作原理图
[34]
Fig. 3 Principle of DVS operation
[34]
下载: 全尺寸图片 幻灯片
通常, DVS 输出的事件 ekek 包含该事件发生的像素地址、时间和事件的类型(极性).
即 ek=(xk,ek=(xk,tk,pk),tk,pk), 其中 xk=(xk,yk)T,xk=(xk,yk)T, 表示像素地址; tktk 表示该事件
发生的时间; pk∈{+1,−1}pk∈{+1,−1}表示事件的极性, pk=+1pk=+1 为变亮事件, 反之则为
变暗事件. 规定在像素 xkxk 在 tktk 时刻的光强对数表示为
L(xk,tk)=L(xk,tk)=ln(I(xk,tk)),ln(I(xk,tk)), 其中 II 表示光照强度. 事件 ekek 被激发, 意味着
剩余15页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3663
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功