基于深度学习的RGB-D深度信息补全方法研究.pdf

基于深度学习的RGB-D深度信息补全方法研究 摘要：本文研究基于深度学习的RGB-D深度信息补全方法，以解决当前深度相机无法感知高光、透明和较远距离的深度信息问题。通过训练大量彩色图像，模型可以估计局部法向和遮挡边界，并结合深度相机提供的原始深度信息，构造全局优化函数，实现对原始深度的补全。实验结果表明，该方法可以较好地估计出整体轮廓和局部细节的深度，解决了原始深度信息缺失的问题。 知识点： 1. 深度学习在深度信息补全中的应用：本文研究基于深度学习的方法来补全深度信息，通过训练大量彩色图像，模型可以估计局部法向和遮挡边界，并结合深度相机提供的原始深度信息，实现对原始深度的补全。 2. 深度相机的局限性：当前深度相机往往不能感知高光、透明和较远距离的深度信息，导致原始获得的深度图像存在一定的信息丢失。 3. 传统的深度估计方法：经典的深度估计方法包括 Shape-from-shading（SFS）和 Shape-from-defocus（SFD），以及基于表面朝向假设的方法等。 4. 深度补全绘制方法：传统的深度补全绘制方法通常是通过手工调优的方法来实现，如 Matsuo 等提出的通过推算场景边界表面方法和 Doria 等提出的马尔可夫图像合成方法，以及经典的 Silberman 提出的联合双边滤波（joint bilateral filter,JBF）方法。 5. 深度学习在计算机视觉中的应用：深度学习技术已经广泛应用于计算机视觉的各个领域，如 SLAM，自动驾驶和场景重建等。 6. RGB-D 相机技术：当前深度传感器技术方面取得了一些进展，出现了许多商品级的 RGB-D 相机，如微软的 Kinect，英特尔的 RealSense 和谷歌的 Tango 等。 7. 深度信息补全的重要性：如何估计和补全采集的深度信息，成为近年来计算机视觉领域研究的热点。 8. 全局优化函数的应用：本文中，通过构造全局优化函数，实现对原始深度的补全，该方法可以较好地估计出整体轮廓和局部细节的深度。 9. 多视角 RGB-D 数据集的应用：实验结果表明，该方法可以较好地估计出整体轮廓和局部细节的深度，解决了原始深度信息缺失的问题。