这篇论文名为《3-Sweep: 从单一照片中提取可编辑对象》,作者包括清华大学计算机科学与技术系的Tao Chen、Shi-Min Hu以及特拉维夫大学的Daniel Cohen-Or和Ariel Shamir。本研究发表于今年9月份,展示了一项名为“3-Sweep”的交互技术,这项技术能够基于单一照片中提取简单的3D形状。在实际应用中,该技术通过组合人类的认知能力与机器的计算精度来解决形状、其投影和关系的理解问题。通过三笔简单操作,用户可以创建出可编辑的3D部件,该过程在很大程度上由人类协助来分割复杂物体并将其在空间中定位。所用的界面允许用户通过三笔勾勒来生成一个3D部件,其中每笔定义了部件的一个维度。
三笔勾勒生成的3D部件与照片中物体的轮廓相吻合,并且在满足物体的整体3D结构所隐含的几何约束下进行重新塑形。借助于这种智能的交互式建模工具,对象提取这项看似艰巨的任务变得简单易行。一旦3D对象被提取,它就可以快速被编辑并重新放置到照片或3D场景中,允许执行对象驱动的照片编辑任务,这是在图像空间中无法完成的。研究者们展示了几个应用实例,并进行了一项用户研究来阐述这项技术的实用性。
该论文的关键词包括交互技术、照片编辑、图像处理以及计算机图形学领域中的计算几何和对象建模。研究的范畴隶属于I.3.5计算机图形学:计算几何和对象建模——几何算法、语言和系统。
文章的图1展示了3-Sweep对象提取的过程,包括五个步骤:(a)输入图像,(b)提取边缘,(c)3-Sweep对物体一个组件的建模,(d)完整提取的3D模型,以及(e)通过旋转每个手臂并在不同方向上进行编辑后,将模型粘贴到新的背景上。对象的基础部分通过alpha合成技术进行转移和合成。
文章的摘要部分介绍了这项技术,它需要用户理解形状的组件、它们的投影及其关系。对于人类而言,这些简单的认知任务相对容易,但对于自动化算法来说却特别困难。研究者们采用的方法将人类的认知能力和机器的计算精度结合起来,以解决这个问题。这项技术允许用户快速创建可编辑的3D部分。人类的协助隐含地将复杂物体分割成其组件,并在空间中定位它们。在他们的界面中,三笔被用来生成一个与照片中物体轮廓相吻合的3D组件,其中每一笔定义了组件的一个维度。计算机根据物体在照片中的图像以及由其全局3D结构所施加的各种隐含几何约束来重塑该组件。
3-Sweep技术的提出,标志着从单一照片中提取可编辑三维对象的最新进展。它的出现不仅简化了对象提取的流程,还提供了更加直观和高效的三维建模手段,有助于推动图形学和相关领域的技术进步。此外,这项技术在图形学领域尤其是计算几何和对象建模方面具有重要意义,因为其研究的范畴触及了该领域内核心算法、语言与系统的开发与应用。
通过这篇论文,我们可以了解到当前3D建模和图形编辑的前沿研究方向,即结合人工智能和自动化算法来辅助人类进行复杂的图像处理任务。随着技术的不断进步,未来可能会有更多类似的智能交互工具诞生,从而进一步简化数字艺术创作、游戏开发、虚拟现实等领域中的工作流程。