基于图像和激光的多模态点云融合与视觉定位【100010392】

> # ♻️ 资源 > **大小：** 78.9MB > **文档链接：**[**https://www.yuque.com/sxbn/ks/100010392**](https://www.yuque.com/sxbn/ks/100010392) > **➡️ 资源下载：**[**https://download.csdn.net/download/s1t16/87377748**](https://download.csdn.net/download/s1t16/87377748) > **注：更多内容可关注微信公众号【神仙别闹】，如当前文章或代码侵犯了您的权益，请私信作者删除！** >  # 基于图像和激光的多模态点云融合与视觉定位 ## 第 1 章 引言 ### 1.1 研究背景及意义 人工智能(ArtificialIntelligence)在过去十几年来的蓬勃发展让现实生活中的许多领域变得日趋无人化与智能化：增强现实(AR)使人能够和虚拟环境进行互动；自动驾驶技术(self-drivingtechnology)的落地与应用使得道路更加智能化，提升了道路运输的安全性与便利性；智能机器人的发明，一方面如扫地机器人的出现使得智能家居领域得到发展；另一方面在工业领域移动机器人的出现使得人们从重复性高或危险性高的工作当中得以解放。图 1.1 列举了常见的几种智能化领域。  (a)增强现实 (b)自动驾驶  (c)扫地机器人 (d)移动机器人图 1.1 近年常见智能化领域 以上几种智能化技术的应用，离不开对于场景的构建与定位工作。场景构建是指对一个真实的环境采用特定的模型进行数学描述，在计算机视觉领域，一般通过构建场景的点云模型来进行建模，一个准确、高精度的场景点云模型能够为定位系统提供更好的基础。定位是指移动机器人通过自身的传感器获取数据，对外界环境信息进行感知与处理，通过图像处理技术或点云处理技术来计算移动机器人的位置。定位任务又可以分成两个部分：绝对定位与相对定位。绝对定位是指计算自身在环境中的绝对位置，而相对定位是指在机器人的运动过程中估计每一时刻与上一时刻的相对运动，从而恢复出整个运动轨迹。 在图 1.1 的各个领域中，场景构建与定位都发挥着重要作用。在自动驾驶领域，一个准确的定位能够提升无人汽车的安全性；一个高精度地图的构建能够提升用户在增强现实上的体验；同时一个鲁棒且准确的建图定位算法也能够提升工业机器人的工作效率与准确性。 如今，在处理建图与定位任务时主要采取两种方向：第一，同时建图与定位。这里的定位解决的是相对定位，即机器人在环境中移动的时候，利用环境信息特征，一边推测自己的相对位姿从而恢复轨迹，一边进行地图构建，当机器人完成整体环境的探测时，也完成了地图的构建。同时建图与定位算法被称为 SLAM 算法(SimultaneousLocalizationandMapping)。 第二，先建图后定位。这里的定位指的是绝对定位，不同于 SLAM 算法，它需要机器人首先对全局环境进行了解，从而将其放入环境中时，能够准确定位出机器人的绝对位置。对于建图任务，常用的方法有基于单目视觉的 SfM(Structure-from-Motion)算法，能利用图像稀疏地构建环境三维模型。对于室内定位任务，常采用的方法是提前在场景粘贴视觉 marker，并在重建地图中进行标记，以此来进行检测与定位，常用的视觉 marker 有 Aruco等；在室外环境中，通常利用 GPS 信号进行辅助定位。  (a)双目相机 (b)RGB-D 相机 (c)激光雷达图 1.2 实验设备 随着技术的进步，各种传感设备正在不断更新，如图 1.2 所示，双目相机、RGB-D 相机、激光雷达的出现使得对于环境数据的采集变得更加便捷、数据类型更加多样。但尽管如此，在重建与定位的算法方面仍面临着不少挑战，主要有如下几点： 1.大场景的精确重建具有挑战性。对于大场景的重建问题，通常有两种解决方式，第一种是依靠传统的 SLAM 或 SfM 算法进行一次性重建，但在大场景构建中前者会存在尺度模糊与漂移问题，后者由于搜索数据的增加造成算法效率低下。另一种解决方式是先对局部场景进行构建，再进行融合，这需要一个有效的点云融合算法进行支撑。 2.视觉定位需要具有鲁棒性。在利用视觉进行定位的算法中，常常面临着不够鲁棒的问题：因为受时间及环境变化的影响，建图与定位时场景中的光照细节可能发生较大的变化，这个容易给传统图像匹配算法的性能造成影响。 3.传感器对定位性能的限制。采用激光雷达设备，其实时性较差，并且成本较高，不利于长期性、实时性的定位需求，而利用传统的单目相机进行视觉定位，由于视野较窄、视角方向单一，在场景中容易由于受到遮挡，或环境特征不够明显时出现定位丢失的现象。根据以上挑战，本文提出了一套对于大场景的建图与定位算法。首先它采用了从局部到整体的思路来减少漂移现象，先选择合适的方式构建场景局部点云，然后对不同局部的点云进行有效地融合，完成重建任务。在视觉定位上，选择了全景相机作为传感器设备，能够覆盖比传统相机更广的范围，捕捉比激光雷达更远的视觉信息；并为了克服跨模态图像的差异，采用了基于神经网络的特征匹配方法，提升了定位过程中的鲁棒性。 ### 1.2 研究现状 #### 1.2.1 视觉三维重构 目前基于视觉三维重构主要有两个流行的方向，第一个是采用视觉 SLAM 的方法，按照一定的采样率对场景进行连续的图像拍摄，并依靠算法在定位的同时恢复场景的整体图像；第二个是采用 SfM 方法，提前在场景中拍摄大量无序照片，通过搜索匹配的方式发现重叠图像，进而恢复场景模型。本小节分别对于这两种视觉三维重构方法的研究现状进行了总结。 **1.SimultaneousLocalizationandMapping** SLAM 的整体框架如图 1.3 所示，其架构包括前端和后端两个部分。其中前端利用传感器的数据，估计出传感器的运动，从具体实现上，该模块首先从传感器数据中提取特征，�