Real-time RGB-D images stitching using multiple Kinects for impr...

本文探讨了基于Kinect式RGB-D传感器存在的深度图缺陷和有限的视野（Field of View，FOV）问题，并提出了一种各向异性扩散（Anisotropic Diffusion，AD）基础的空洞填充方法来恢复深度图中无效的深度数据。通过拼接来自多个RGB-D传感器的深度和彩色图像来扩展Kinect式RGB-D传感器的视野。通过将深度图与彩色图像对齐，可以使用通过注册彩色图像计算出的校准数据，实时拼接深度和彩色图像成为深度和彩色全景图。实验结果表明，所提出的拼接方法能够生成无无效深度数据和轻微畸变的实时RGB-D全景图像，并且可以扩展到更多RGB-D传感器的集成，以构建360度全景RGB-D图像。 深度信息是基于视觉（RGB）信息的计算机视觉应用程序的重要补充。传统的深度传感器包括飞行时间摄像头、激光测距扫描仪、结构光扫描仪和双目摄像头。另一种基于红外（IR）的深度传感器是像Microsoft Kinect这样的设备，它通过匹配红外图像中的点与预先校准的红外模式中的点生成深度图。与激光扫描仪和双目相机相比，Kinect的成本要低得多，并且能够以更高的速度生成可靠的深度图。Kinect已被广泛用于计算机视觉应用，如物体检测、分割和识别、三维建模和SLAM（同时定位与地图构建）。然而，在这些应用中使用Kinect的一个主要限制是Kinect的狭窄视野，这限制了对更多对象的覆盖。 文章主要讨论了在使用Kinect传感器进行实时深度图拼接时的实时性问题，以及在拼接过程中的数据缺失和图像扭曲问题。首先介绍了传统的深度传感器和Kinect的基本工作原理，然后分析了Kinect在视野上存在的问题。之后，文章提出了一种利用各向异性扩散算法来填充深度图中缺失数据的空洞填充方法，以提高深度图的质量和完整性。作者通过实验验证了所提出的方法能够在实时条件下生成高质量的RGB-D全景图像，并且该方法能够扩展以集成更多的RGB-D传感器来构建更广阔的360度全景图像。 在介绍中，文章还讨论了深度图像拼接与图像注册技术的关系。图像注册技术是将多个图像合成一个全景图像时的关键步骤，它涉及图像间的对齐、变换和平滑处理。文章说明了如何利用彩色图像注册计算出的校准数据，用于实时拼接深度和彩色图像。文章强调了实时处理的重要性和方法的有效性，这对于需要即时视觉信息反馈的应用场景尤为重要，比如在机器人导航、增强现实（AR）以及虚拟现实（VR）中。 本文提出了一种创新的方法来解决基于Kinect传感器的实时RGB-D图像拼接问题，具有重要的实际应用价值和研究意义。通过这种技术的应用，能够显著扩展计算机视觉系统的观察范围，提升应用的质量和效率。在未来的研究中，可以进一步优化算法以适应更多种类的图像传感器，实现更高级别的数据融合和处理。