Feature Tracking for Robust Structure-from-Motion

结构从运动（Structure-from-Motion，SfM）是一种重要的三维重建技术，广泛应用于多个领域，如谷歌地球、微软虚拟地球等。SfM算法能够自动估计图像或视频集合输入下的三维特征，而其中特征跟踪（feature tracking）的质量对于整个算法的效果至关重要。图像序列中，如果由于物体进出视野、偶尔的遮挡或图像噪声等原因造成的不连续特征跟踪（disjointed tracks），没有得到良好处理，将严重影响对应SfM的效果。对于大规模场景的准确SfM而言，这一问题更加严重，因为通常需要捕获多个序列来覆盖整个场景。 在本篇研究中，Guofeng Zhang 等人提出了一个高效的非连续特征跟踪（Efficient Non-Consecutive Feature Tracking，ENFT）框架，以匹配分布在不同子序列乃至不同视频中的中断跟踪。该框架包括解决特征“缺失”问题的步骤，特别是当结构不明显、存在噪声或图像出现严重扭曲时；还包括快速识别和连接不同子序列中相同特征的步骤。此外，研究者们贡献了一个基于段的粗到精的SfM估计算法，以高效和鲁棒地处理大型数据集。在多个具有挑战性的大型视频数据集上的实验结果表明了所提系统的效果。 非连续特征跟踪、跟踪匹配、结构从运动、捆绑调整等都是本研究中的关键词。结构从运动通常依赖于特征点跟踪技术来处理帧与帧之间的时序关系，这不仅是一个基本的计算机视觉问题解决工具，也是解决如相机跟踪、视频匹配和对象识别等多种问题的关键技术。 大型三维重建在实际应用中找到了广泛的应用，例如在电影和商业行业中，视频包含了密集的几何和结构信息，是SfM的重要来源。视频SfM估计的一个常见策略就是使用特征点跟踪，它照顾到帧与帧之间的时序关系。这一技术不仅是三维重建的基础，也涉及到诸多计算机视觉问题的解决。 为了有效解决特征跟踪中出现的问题，ENFT框架提供了一种新的方法，用于匹配和处理分散在不同序列或视频中的跟踪特征。为了提高算法的鲁棒性和效率，研究者们还开发了一种基于段的粗到精SfM估计算法，以便能够有效地处理大型数据集。在实际应用中，对于大规模场景的三维重建，通常需要将场景分割成若干部分，分别进行重建。这种分割策略不仅提高了重建的效率，也能够在一定程度上提高重建的精度。ENFT框架通过识别和匹配不同片段中的共同特征来实现场景的完整重建。 SfM算法的鲁棒性和效率对于大规模场景的三维重建至关重要。因为大规模场景往往需要从多个不同的视角、不同的光照条件下进行拍摄，收集的数据量大，且数据的复杂性也高。在面对大规模数据集时，算法需要能够快速处理大量特征点，并在保证精度的前提下有效地估计出场景的三维结构。高效的非连续特征跟踪技术，正是为解决这一挑战而设计的。 此外，文章提到的捆绑调整（Bundle Adjustment）是SfM中的一个关键步骤，它是一个优化过程，通过调整相机参数和三维点位置，使得重建模型尽可能地与所有输入图像中的观测点对齐。它通过最小化重投影误差来实现这一目标，是实现精确三维重建的关键技术之一。 ENFT框架提出了一种新的方法来处理图像序列中的非连续特征跟踪问题，对于提高大规模场景三维重建的鲁棒性和效率具有重要意义。通过识别和匹配不同序列或视频中的中断跟踪，以及提出基于段的粗到精SfM估计算法，有效地处理了大型数据集，为大规模三维重建应用提供了强有力的技术支持。