没有合适的资源?快使用搜索试试~ 我知道了~
采用传感器融合网络的单光子激光雷达成像方法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 43 浏览量
2022-12-15
14:27:51
上传
评论
收藏 256KB DOCX 举报
温馨提示
试读
11页
采用传感器融合网络的单光子激光雷达成像方法.docx
资源推荐
资源详情
资源评论
0. 引 言
从感知场景中推断出正确的深度信息对许多应用来说是至关重要的,例如自动驾驶、
虚拟现实、增强现实和机器人技术。激光雷达是深度成像中的领先技术,目前,大多数激
光雷达系统采取单点/扫描的方式,使用共轴对齐的激光二极管和单光子探测器,由激光器
发射激光,探测器时间标注经场景反射回来的到达光子。扫描式激光雷达系统虽然能够获
取较为准确的深度信息,但采集速度慢。然而,越来越多的应用要求对场景进行快速获
取,在此需求之下,单光子雪崩二极管(Single-Photon Avalanche Diode, SPAD)阵列应运
而生。通过同时采集多个回波光子,SPAD 阵列可以提供准确快速的场景深度信息。
近年来,许多研究团队着力发展 SPAD 阵列
[1-2]
。目前,激光雷达的分辨率较低,尤其
是 SPAD 阵列,因此,深度重建也是一个热门的研究方向
[3-6]
,也有许多研究依赖于神经网
络方法
[7-8]
。仅从激光雷达系统中获取的信息进行深度重建效果是有限的,多维信息融合
[9]
是解决这一问题的方法之一。Lindell 等人结合常规高分辨率相机和线列 SPAD,使用多尺
度深度卷积网络,提出了一种用于效率 3 D 成像的数据驱动方法
[10]
;在此基础上,Sun 等
人引入了单目深度估计算法,能从强度信息中得到更可靠的相对距离信息
[11]
;Ruget 等人
使用了相同的 SPAD 阵列传感器,基于神经网络,利用强度图和多个从直方图中提取出的
特征引导深度上采样
[12]
。
在人类视觉系统中,大脑会自动忽略场景中低价值的信息,为了模仿这一行为,注意
力模型被提出。在神经网络中,注意力模型能够硬性选择输入的某些部分,或者给输入的
不同部分分配不同的权重,目前在各个领域被广泛使用
[13]
。最近的工作将注意力模型应用
于三维点云数据上,但解决的都是分类问题,文中将深度图像重构视为回归问题,将注意
力模型嵌入处理时间相关单光子计数(Time-Correlated Single-Photon Counting, TCSPC)直
方图数据的神经网络中,证明注意力模型在三维数据回归问题中的有效性。
为了打破 SPAD 阵列的固有图像分辨率限制和去除探测器探测过程中的噪声光子,论
文基于传感器融合策略提出了一种卷积神经网络结构,引入多尺度特征提取和注意力机制
模块,提高了融合质量。此外,设计了一个针对 TCSPC 直方图的损失函数,不仅关注光
子在时间维度上的总体分布,还考虑各个时间仓间光子的序数关系。文中提出的方法可以
将深度数据的空间分辨率提升 4 倍,并在仿真数据和真实采集数据上都取得了比其他算法
更好的质量效果和量化指标。
1. 数据获取
1.1 实验设置
实验设置如图 1 所示,可分为照明模块和感知模块。照明模块包括一个 635 nm 的皮
秒脉冲激光器和一个散射片。激光器发射 20 MHz 重复频率的激光脉冲,激光经散射片被
发散,以覆盖 SPAD 阵列的探测范围。感知模块包括一个 SPAD 探测器和常规相机。
SPAD 探测器阵列的空间分辨率为 32×32 pixel,每一个探测器可独立运行于 TCSPC 模式,
时间分辨率为 55 ps,并感知由目标反射回来的光子以获取激光脉冲的时间信息。在一个曝
光周期内,每个像素仅探测第一个到达的光子,待下一个曝光周期到达后,重置数字时间
转换器(Time-to-Digital Converter, TDC),该过程即为一个探测帧。通过叠加多个探测帧
的返回光子数,每个像素都包含一个关于返回光子的时间直方图,其中总光子数代表了激
光脉冲在相应空间位置上的照射强度,直方图形状表示了返回光子的到达时间。
图 1 实验设置图
Fig. 1 Experiment setup
下载: 全尺寸图片 幻灯片
SPAD 探测器能够探测到的光子主要分为三类:在目标表面漫反射返回的信号光子、
环境中的背景光子和探测器自身产生的暗电流噪声,其中,主要噪声光子来源为背景光子
和暗计数。由于在探测过程中,这两种噪声均处于强度稳定状态,因此可以将其分布视为
泊松分布。并且背景光子和暗计数相互独立,所以二者的叠加噪声仍遵循泊松分布。
1.2 预处理
对于 SPAD 阵列探测器及漫散射照明的配准,在约 1 m 位置处放置一块白色板,调整
激光发射二极管的位置,以保证在探测器探测中心能够观察到激光点,再在激光器前方放
置散射片。对于高分辨率相机获取的强度图像和 SPAD 阵列探测器获取的深度图像配准,
通过探测棋盘格特征,再应用映射转换以对齐两个图像。
与 Ruget 等人的工作
[12]
相似,对 SPAD 探测器获取的原始数据进行了预处理,以提高
数据质量,减少网络处理数据量。但与该工作中使用多种方法提取深度数据中的各尺度特
征不同,文中方法无需从原始数据中提取多个重要特征图,仅将原始数据减掉在相同条件
下、但没有激光传播所获取的环境光和暗计数率之和,然后在时间维度上截取包含信号光
子的 200 个时间仓,最后在空间维度上应用最近邻法,将深度数据上采样 4 倍,得到网络
的输入数据。
2. 基于注意力模块的传感器融合网络
基于注意力模块的多阶段融合网络采用 U-Net 网络结构。网络的目标是由高分辨率干
净强度图引导,将上采样后的有噪 TCSPC 直方图映射成精细的高分辨率去噪直方图。损
失函数为 Kullback-Leibler (KL)散度、序数回归损失和全变差空间正则项的权重和,训
练过程的目标为找到滤波器的权重和偏差使损失函数趋于收敛。
2.1 网络结构
基于注意力模块的多尺度融合网络结构(如图 2 所示)由特征提取和融合重构两个模
块组成,其中特征提取模块用于提取 TCSPC 直方图数据和强度数据中的多尺度特征,使
网络可以学习不同尺度的丰富层次特征,更好地适应精细和大规模尺度的上采样;融合重
剩余10页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3675
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功