3D Spatial Recognition Without Spatially Labeled 3D.pdf

在当前的计算机视觉与三维数据处理领域，三维场景理解是实现场景感知与交互的重要步骤。然而，现有的三维识别系统往往需要强监督学习，例如点级语义标签或三维边界框，这些标签获取起来耗时且成本高昂。随着消费级深度传感器（如LiDAR）的发展和计算机视觉算法的进步，3D数据的收集已经变得更加方便和便宜。但是，依赖于点级语义标签或三维边界框的强监督学习方法限制了三维识别系统的扩展性。 针对这一问题，本文介绍了WyPR（Weakly-supervised Pointcloud Recognition）——一个仅需要场景级类别标签作为监督的弱监督三维点云识别框架。WyPR框架联合学习点云数据的语义分割和物体检测，涉及三个核心的三维识别任务：点级语义分割、三维候选框生成和三维物体检测。这些任务通过自我和交叉任务一致性损失进行联合预测，从而实现它们之间的预测一致性。 WyPR框架仅使用场景级别的类标签作为训练时的监督信息，在训练过程中不使用任何点级别的标签，这极大地降低了数据标注的复杂性和成本。本文还展示了WyPR框架在ScanNet和S3DIS数据集上的效能，通过实验发现它在弱监督分割方面超过了之前的方法，并且在三维物体检测方面首次建立了基准，为未来的工作奠定了强大的基础。 文章中提到的ScanNet是一个大规模的室内三维数据集，它通过仅20人的努力收集完成，但是与之相反的是，收集这些数据所需的点级语义标签的获取是非常耗时的。因此，WyPR框架的出现不仅有助于简化三维数据标注流程，还提供了更为高效和实用的三维识别方法。 总结来说，WyPR框架的核心贡献可以分为以下几个方面： 1. 一个仅需要场景级类别标签作为监督的弱监督学习框架，这极大地减少了人工标注的负担，并使大规模三维数据的学习变得更加可行。 2. 通过联合学习语义分割和物体检测，WyPR框架在三维数据上实现了更为一致和准确的识别效果。 3. WyPR框架引入了自我和交叉任务一致性损失，通过多个实例学习目标，将三个核心三维识别任务有效地结合起来。 4. 在ScanNet和S3DIS数据集上的实验结果表明，WyPR在弱监督分割任务上优于现有方法，并为弱监督三维物体检测任务设定了基准。 5. 实验分析和可视化部分提供了对WyPR框架效果的直观理解，并且详细分析了该框架在不同任务中的表现。 WyPR框架的提出，不仅将推动三维数据处理和识别技术的发展，也预示着未来三维场景理解领域的研究将更加注重弱监督或无监督学习方法的探索和应用。