书书书
收稿日期：２０１８１１１０；修回日期：２０１９０１１７ 基金项目：国家自然科学基金资助项目（５１５７９２０４，５１６７９１８０）；武汉理工大学自主创新
研究基金资助项目（２０１６ＩＶＡ０６４，２０１６ＹＢ０２９）
作者简介：邹雄（１９８２），男，博士研究生，主要研究方向为机器视觉（ｚｘ２０００＠ｗｈｕｔ．ｅｄｕ．ｃｎ）；肖长诗（１９７４），教授，博士，主要研究方向为宽动
态成像；文元桥（１９７４），教授，博士，主要研究方向为大数据；元海文（１９８８），博士，主要研究方向为机器视觉．
基于特征点法和直接法 ＶＳＬＡＭ 的研究
邹 雄
１
，肖长诗
１，２
，文元桥
１，２，３
，元海文
１
（１．武汉理工大学 航运学院，武汉 ４３００６３；２．内河航运技术湖北省重点实验室，武汉 ４３００６３；３．国家水运安全
工程技术研究中心，武汉 ４３００６３）
摘 要：基于视觉的同时定位和建图（ＶＳＬＡＭ）分为前端和后端，前端包括视觉里程计和回环检测，后端包括后端
优化和建图。按照估计相机运动的不同方式，将
ＶＳＬＡＭ分为特征点法和直接法，首先从这两个方面对前端进行综
述，阐述其中的关键技术和最新的研究进展，对比分析不同方法的优缺点；然后详细分析优化后端与滤波器后端的
区别，进一步对多个开源代码进行比较研究，分析它们的优劣势和适用场合；再讨论深度学习、语义地图和多机器
人在 ＶＳＬＡＭ领域的研究进展，以及相关技术与 ＶＳＬＡＭ的结合方式及前景；最后对 ＶＳＬＡＭ的未来进行展望。
关键词：ＶＳＬＡＭ；视觉里程计；特征点法；直接法；非线性优化
中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１３６９５（２０２０）０５００１１２８１１１
ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．１１．０７８９
ＲｅｓｅａｒｃｈｏｆｆｅａｔｕｒｅｂａｓｅｄａｎｄｄｉｒｅｃｔｍｅｔｈｏｄｓＶＳＬＡＭ
ＺｏｕＸｉｏｎｇ
１
，ＸｉａｏＣｈａｎｇｓｈｉ
１，２
，ＷｅｎＹｕａｎｑｉａｏ
１，２，３
，ＹｕａｎＨａｉｗｅｎ
１
（１．ＳｃｈｏｏｌｏｆＮａｖｉｇａｔｉｏｎ，ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００６３，Ｃｈｉｎａ；２．ＨｕｂｅｉＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｌａｎｄＳｈｉｐｐｉｎｇＴｅｃｈｎｏｌｏｇｙ，
Ｗｕｈａｎ４３００６３，Ｃｈｉｎａ；３．ＮａｔｉｏｎａｌＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈＣｅｎｔｅｒｆｏｒＷａｔｅｒＴｒａｎｓｐｏｒｔＳａｆｅｔｙ，Ｗｕｈａｎ４３００６３，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：ＶＳＬＡＭｉｓｄｉｖｉｄｅｄｉｎｔｏｆｒｏｎｔｅｎｄａｎｄｂａｃｋｅｎｄ．Ｔｈｅｆｒｏｎｔｅｎｄｉｎｃｌｕｄｅｓｖｉｓｕａｌｏｄｏｍｅｔｒｙａｎｄｌｏｏｐｄｅｔｅｃｔｉｏｎ，ａｎｄ
ｔｈｅｂａｃｋｅｎｄｉｎｃｌｕｄｅｓｂａｃｋｅｎｄｏｐｔｉｍｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ．ＴｈｉｓｐａｐｅｒｄｉｖｉｄｅｄＶＳＬＡＭ ｉｎｔｏｆｅａｔｕｒｅｂａｓｅｄｍｅｔｈｏｄａｎｄｄｉｒｅｃｔ
ｍｅｔｈｏｄａｃｃｏｒｄｉｎｇｔｏｄｉｆｆｅｒｅｎｔｗａｙｓｏｆｅｓｔｉｍａｔｉｎｇｃａｍｅｒａｍｏｔｉｏｎ．Ｆｉｒｓｔｌｙ
，ｉｔｓｕｍｍａｒｉｚｅｄｔｈｅｆｒｏｎｔｅｎｄｆｒｏｍｔｈｅｓｅｔｗｏａｓｐｅｃｔｓ，
ｅｌａｂｏｒａｔｅｄｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓａｎｄｔｈｅｌａｔｅｓｔｒｅｓｅａｒｃｈｐｒｏｇｒｅｓｓ，ｃｏｍｐａｒｅｄａｎｄａｎａｌｙｚｅｄｔｈｅｄｉｆｆｅｒｅｎｔｍｅｔｈｏｄｓ．Ｔｈｅｎ，ｉｔａｎａ
ｌｙｚｅｄｔｈｅｄｉｆｆｅｒｅｎｃｅｓｂｅｔｗｅｅｎｔｈｅｏｐｔｉｍｉｚｅｂａｃｋｅｎｄａｎｄｔｈｅｆｉｌｔｅｒｂａｃｋｅｎｄｉｎｄｅｔａｉｌ
，ａｎｄｃｏｍｐａｒｅｄｔｈｅａｄｖａｎｔａｇｅｓａｎｄｄｉｓａｄ
ｖａｎｔａｇｅｓｏｆｓｅｖｅｒａｌｏｐｅｎｓｏｕｒｃｅｃｏｄｅｓａｎｄｔｈｅｉｒａｐｐｌｉｃａｂｌｅｏｃｃａｓｉｏｎｓ．Ｆｕｒｔｈｅｒ
，ｉｔｉｎｔｒｏｄｕｃｅｄｔｈｅｒｅｓｅａｒｃｈｐｒｏｇｒｅｓｓｏｆｄｅｅｐ
ｌｅａｒｎｉｎｇ，ｓｅｍａｎｔｉｃｍａｐｐｉｎｇａｎｄｍｕｌｔｉｒｏｂｏｔｓｉｎＶＳＬＡＭ，ａｎｄｄｉｓｃｕｓｓｅｄｔｈｅｃｏｍｂｉｎａｔｉｏｎｏｆｒｅｌａｔｅｄｔｅｃｈｎｏｌｏｇｉｅｓｗｉｔｈＶＳＬＡＭ
ａｎｄｉｔｓｐｒｏｓｐｅｃｔｓ．Ｆｉｎａｌｌｙ
，ｉｔｐｒｏｓｐｅｃｔｅｄｔｈｅｆｕｔｕｒｅｏｆＶＳＬＡＭ．
Ｋｅｙｗｏｒｄｓ：ＶＳＬＡＭ；ＶＯ；ｆｅａｔｕｒｅｂａｓｅｄｍｅｔｈｏｄ；ｄｉｒｅｃｔｍｅｔｈｏｄ；ｎｏｎｌｉｎｅａｒｏｐｔｉｍｉｚａｔｉｏｎ
同时定 位 与 地 图 构 建 （ｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐ
ｐｉｎｇ，ＳＬＡＭ）
［１，２］
是机器人进入未知环境遇到的第一个问题，它
是指机器人搭载特定传感器，在没有环境先验信息的情况下，
在运动过程中对周围环境建模并同时估计自身的位姿
［３］
。如
果传感 器 主 要 为 相 机，那么 就 称 为 视 觉 ＳＬＡＭ（ＶＳＬＡＭ）
［４］
。
ＳＬＡＭ技术已经研究和发展了三十多年，研究人员已经做了大
量工作，近十年来，随着计算机视觉的发展，ＶＳＬＡＭ以其硬件
成本低廉、轻便、高精度等优势获得了学术界和工业界的青睐。
ＶＳＬＡＭ是利用多视图几何理论
［５］
，根据相机拍摄的图像
信息对相机进行定位并同时构建周围环境地图。按照相机的
分类，有单目、双目、ＲＧＢＤ、鱼眼、全景等。为了方便，本文只考
虑普通相机。从 ＶＳＬＡＭ的提出到目前为止，经过研究人员十
多年不懈努力，ＶＳＬＡＭ框架已基本形成。如图 １所示，ＶＳＬＡＭ
主要包括视觉里程计（ｖｉｓｕａｌｏｄｏｍｅｔｒｙ，ＶＯ）、后端优化、回环检
测、建图。其中 ＶＯ研究图像帧间变换关系完成实时的位姿跟
踪，对输入的图像进行处理，计算姿态变化，得到相机间的运动
关系。但是随着时间的累计，误差会累积，这是由于仅仅估计
两个图像间的运动造成的。后端主要是使用优化方法，减小整
个框架误差（包括相机位姿和空间地图点）。回环检测又称为
闭环检测，主要是利用图像间的相似性来判断是否到达过先前
的位置，以此来消除累计误差，得到全局一致性轨迹和地图。
建图是根据估计的轨迹建立与任务要求对应的地图。
现在比较通常的惯例是把
ＶＳＬＡＭ分为前端和后端，前端
为视觉里程计和回环检测，相当于是对图像数据进行关联；后
端是对前端输出的结果进行优化，利用滤波或非线性优化理论
得到最优的位姿估计和全局一致性地图。
１ 前端
１１ 视觉里程计
前端中的视觉里程计是通过采集的图像得到相机间的运
动估计，视觉里程计问题可由图 ２进行描述（双目立体视觉里
程计）。视觉系统在运动过程中，在不同时刻获取了环境的图
像，而且相邻时刻的图像必须有足够的重叠区域，则视觉系统
的相对旋转和平移运动可被估算出来；然后将每两个相邻时刻
之间视觉系统的运动串联起来，可以得到累计的视觉系统相对
于参考坐标系的旋转和平移。如图
２所示，视觉里程计的任务
就是已知 ｋ＝０的初始位置 Ｃ
０
（可以根据情况自己定义），求相
机的运动轨迹
Ｃ
０：ｎ
＝｛Ｃ
０
，…，Ｃ
ｎ
｝，即当前的位置 Ｃ
ｋ
通过 Ｔ
ｋ
和
上一时刻的位置 Ｃ
ｋ－１
来计算，公式为 Ｃ
ｋ
＝Ｃ
ｋ－１
×Ｔ
ｋ
。其中：Ｔ
ｋ
为 Ｋ和 Ｋ＋１时刻的相机相对位置变化，可根据相应时刻采集
的图像计算出来，从而恢复相机的运动轨迹。
视觉里程计可分为特征点法和直接法，如图
３所示。特征
点法主要是根据图像上的特征匹配关系得到相邻帧间的相机
第 ３７卷第 ５期
２０２０年 ５月
计 算 机 应 用 研 究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ．３７Ｎｏ．５
Ｍａｙ２０２０
剩余10页未读，继续阅读
资源评论
