没有合适的资源?快使用搜索试试~ 我知道了~
基于事件相机的机器人感知与控制综述.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 37 浏览量
2023-02-23
16:51:52
上传
评论
收藏 3.82MB DOCX 举报
温馨提示
试读
34页
基于事件相机的机器人感知与控制综述.docx
资源推荐
资源详情
资源评论
近年来, 类似无人机、机械臂等机器人系统在各个领域(如消防安防、植保农业、工厂
制造等)得到日益广泛的应用, 四足机器人、人形机器人等系统也成为机器人领域的研究热
点; 可以预见机器人系统将在未来的智能制造、工业 4.0 革命中发挥愈发突出的作用. 上述
机器人系统均为结构复杂、高度集成的机电系统, 系统的运动规划和控制常依赖对所在环
境和目标的感知测量. 目前大部分的无人机、机械臂均采用传统的帧相机作为感知器件, 但
是, 帧相机具有固有的高数据量、低时间分辨率、高延迟等特点, 对快速运动的物体感知能
力较弱, 极大地限制了机器人的操控能力.
在此背景下, 一种基于生物视觉成像原理的神经形态传感器——事件相机受到机器人
领域学者的关注, 将其与机器人感知和控制结合, 涌现出一批突破传统帧相机限制的机器人
控制成果. 本文从事件相机的基本原理开始, 依次综述事件相机与无人机、机械臂、人形机
器人结合的最新成果, 并介绍在控制方法上, 结合事件相机特性的控制技术最新发展, 以期
对这一快速发展的领域提供参考. 本文结构图如图 1 所示.
图 1 本文结构图
Fig. 1 Structure diagram of this paper
下载: 全尺寸图片 幻灯片
1. 事件相机简介
1.1 事件相机的基本原理
事件相机(Event camera)是受生物视觉系统启发的一类新型神经形态视觉传感器, 与基
于帧的视觉传感器在工作原理上存在着不同. 帧相机(Frame camera)的曝光时间是固定的,
即便某个像素上的光照没有发生变化, 它也会重复曝光. 相比之下, 事件相机的每个像素点
独立的检测其上的亮度变化, 生成异步的事件流数据, 该数据包括时间戳、像素地址和亮度
变化的极性.
事件相机像素点上的亮度变化要由目标对象或传感器运动引起
[1]
. 当多个像素点同时
请求事件输出时, 这些事件将以亚微秒级时延异步输出并构成事件流. 旋转圆盘场景下帧相
机与事件相机输出对比如图 2 所示, 展示了传统帧相机与事件相机对高速转动圆盘上固定
点进行一段时间跟踪拍摄得到的结果. 图 2(a)显示传统帧相机以固定频率记录整个圆盘信
息, 信息冗余度高, 帧间丢失了跟踪点的信息. 而图 2(b)的事件相机则连续记录跟踪点对应
的运动事件, 以异步的方式记录有用的运动信息, 具有低时延、低带宽需求的特点.
图 2 旋转圆盘场景下帧相机与事件相机输出对比
[2-3]
. 帧相机在每一帧图像中记录全部像素
点上的数据, 即使圆盘中大部分区域的信息是无用的; 事件相机仅记录圆盘中的黑点位置,
因此仅对运动的有效信息输出事件
Fig. 2 Comparison of outputs between frame camera and event camera in rotating disc scene
[2-3]
.
The frame camera records the data on all pixels in each frame image, even if the information in
most areas of the disc is useless; The event camera only records the position of black spots in the
disc, so it only outputs events for the effective information of motion
下载: 全尺寸图片 幻灯片
事件被触发以像素地址-事件流的形式输出, 地址−事件流数据包含事件的像素坐标、
触发时间和极性(亮度变化的信号)三类信息. 触发的事件表示为
e=(x,y,t,ρ)Te=(x,y,t,ρ)T
(1)
事件 e 表示在事件相机上位于(x,y)T(x,y)T 处的像素点在 t 时刻因亮度变化而被触发的
事件. ρ(p,c)ρ(p,c)为一个截断函数.
ρ(p,c)={+1,p≥c−1,p≤−cρ(p,c)={+1,p≥c−1,p≤−c
(2)
c 为事件点的激发阈值, p 为亮度变化值. 当亮度增量大于 c 时, 激发正极性事件点, 当
亮度增量小于 −c 时, 激发负极性事件点, 当亮度增量的绝对值小于 c 时, 事件相机无输出.
1.2 事件相机的发展历程
事件相机的出现, 可以追溯到 1992 年, Mahowald
[4]
在博士论文中提出了一种“硅视网
膜”视觉传感器. 这是首个输出地址−事件流的视觉传感器, 但它只是事件相机的雏形, 像素
面积过大导致它无法得到实际使用. Boahen
[5]
在 2002 年开发了编码增量视觉信号的视网膜
启发芯片, 模拟生物视网膜的空间视觉通路(Parallel pathway).
Kramer
[6]
在 2002 年提出了一种积分光瞬态传感器, 缺点是传感器的对比灵敏度较低.
Ruedi 等
[7]
在 2003 年提出了空间对比度和局部定向视觉传感器, 其输出编码的是空间对比
度而不是时间对比度. 在一个全局帧积分周期之后, 该设备按从高到低的空间对比顺序传输
事件, 每个对比度事件后面都跟着一个编码梯度方向的事件. Luo 等
[8]
在 2006 年提出了一种
基于首次时间脉冲(Time-to-first-spike, TTFS)技术的 CMOS (Complementary metal oxide
semiconductor)相机, 该相机利用每个像素的单个脉冲时序来编码每个像素的光度. 这种光
度的时间表示可以将图像传感器的动态范围扩大到 100 dB 以上, 并引入了异步地址事件读
取技术以降低功耗. Chi 等
[9]
在 2007 年提出了一种时间变化阈值检测相机, 它对传统源像素
传感器(Active pixel sensor, APS)的像素进行了改进, 使其能够检测绝对光度变化, 该同步装
置存储信号变化的像素地址, 构成一种同步地址事件表示(Address event representation, AER)
的图像传感器. Lichtsteine 等
[10]
在 2008 年提出了第一台商用的事件相机, 称为基于异步事件
的动态视觉传感器(Dynamic vision sensor, DVS). 在 DVS 的基础上, 目前已经开发了几种具
有附加功能的事件相机. 如 DAVIS、ATIS 等, 详见第 1.4 节.
1.3 事件相机的主要特点
事件相机异步地测量每个像素的亮度变化, 而非以固定速率捕获图像帧, 因此能克服
传统帧相机的局限性并且具有特有的优异属性, 如高时间分辨率、低延迟、低功耗、高动
态范围等, 在高速和高动态范围场景中有着广阔的应用空间.
1)高时间分辨率. 事件相机是通过检测像素点处的亮度变化产生事件, 其对亮度变化
产生的响应速度极快, 输出频率可达 1 MHz, 即事件时间戳分辨率为微秒级. 因此, 事件相
机可以捕捉到高速运动, 不会受到运动模糊的影响.
2)低延迟. 事件相机可近乎实时地输出亮度变化, 平均延迟在 μsμs 数量级, 而传统相
机受帧率限制, 采样等待时间是 0 和 1/f 之间的均匀分布, 其中 f 是帧速率. 因此, 事件相机
对输入变化具有超低延迟, 实验测试中时延约为 10μs10μs, 在真实应用中可达亚毫秒级
[11]
.
3)低数据量和低功耗. 事件相机以稀疏事件流的形式输出视觉信号, 事件流中不包含
静态背景的任何信息, 因此过滤了大量冗余数据. 因为仅传输像素点的亮度变化, 不需要用
于像素读取的模数转换器, 从而避免了大量冗余数据的传输, 能耗仅用于处理变化的像素.
大多数事件相机功耗约在 10 mW 级, 甚至有些相机原型的功耗低于 10μW10μW. 基于事件
相机构建的嵌入式系统, 其系统整体的功耗一般大约为 100 mW, 甚至更低
[12–14]
.
4)高动态范围. 事件相机不受白平衡、感光度等统一成像参数影响, 在图像过暗、曝
光过度、光线突变等情况下, 依然可以通过触发事件来获取视觉信息. 因此, 具有极高的动
态范围(>120 dB), 甚至可高达 143 dB
[15]
. 而帧相机通常只能达到 60 dB, 所以, 事件相机在
光照条件良好的白天或者光线较暗的夜晚均能够有效地工作.
上述优点与各类机器人控制结合, 能够突破传统帧相机的限制, 实现机器人系统对快
速运动目标的感知和响应、大大降低感知系统的功耗、提高在复杂光照(强光、暗光)条件
中的感知能力. 尽管如此, 目前在应用上也存在一些挑战, 主要包括硬件缺陷造成的挑战以
及处理范式转变带来的挑战
[11]
:
1)噪声. 光子中存在固有的散粒噪声以及晶体管电路中存在的噪声, 使得视觉传感器
本身就携带大量的噪声事件, 当物体或相机运动时也会产生一系列噪声事件, 并且它们是非
理想性的. 因此如何从噪声中提取有效事件信息是研究者所要解决的问题.
2)信息的处理. 与帧相机提供的灰度信息相比, 事件相机产生的每个事件仅提供二进
制亮度变化信息(亮度增加或减少, 以事件的极性表示). 并且亮度变化不仅取决于场景亮度,
还取决于场景和相机之间的过去和当前的运动变化, 处理这种二进制信息具有挑战性.
3)新的算法. 事件相机的输出与帧相机有着根本的不同, 事件是异步的、空间稀疏的,
而图像是同步的、密集的. 因此, 现有的大多数计算机视觉算法在事件相机上无法直接使
用, 因此开发特有的新算法是充分应用事件相机的前提.
1.4 事件相机的代表性产品
1.4.1 DVS
剩余33页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3684
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功