没有合适的资源?快使用搜索试试~ 我知道了~
无监督孪生函数映射网络的模型对应关系计算.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 73 浏览量
2022-11-28
20:27:18
上传
评论
收藏 69KB DOCX 举报
温馨提示
试读
15页
无监督孪生函数映射网络的模型对应关系计算.docx
资源推荐
资源详情
资源评论
在三维模型分析和处理过程中,寻找非刚性模型间准确的对应关系是计算
机视觉、计算机图形学及相关研究领域中的一个重点及难点问题。三维模型对
应关系计算被广泛应用于三维打印、医学影像分析、自动驾驶和电影动画等领
域。因此,在两个或多个三维模型间建立正确的对应关系是一项非常重要的基
础性研究工作
[1]
。三维模型一般是由三角网格或点云表示,如果对源模型与目标
模型间所有的顶点逐个进行匹配,会增加时间与空间复杂度,因此采样算法的选
择对提高模型间对应关系的匹配率起着至关重要的作用。利用深度学习的优势
可以将不规则三维点云转换为规则的数据形式,便于特征学习
[2]
。
目前,对于刚性模型或等距模型间的对应关系计算,相关研究算法已经趋于
成熟,并可以得到准确的对应关系。例如文献[3]提出基于博弈论的对应关系计
算方法,通过选择相互刚性约束的模型表面上的点进行最优匹配,获得刚性模型
间 准 确 的 对 应 关 系 。 而 对 于 非 刚 性 模 型 或 非 等 距 模 型 间 对 应 关 系 计 算 问
题,OVSJANIKOV 等
[4]
提出利用函数映射(Functional Maps,FM)方 法将 模型 间
对应关系计算问题转化为函数映射矩阵的优化问题,即将源模型和目标模型上
的特征点与特征描述符联系起来,通过构建线性函数将复杂的点到点对应关系
转化为模型描述符函数之间的映射关系。相比单纯地计算复杂的、非线性的点
到点映射,函数映射能获得更准确的对应关系。但是基于该理论的计算方法过
度依赖描述符的选择,并且由于模型的自身对称性导致错误匹配,可以通过改进
点到点映射方法并添加一些正则化约束项来获得最优描述符。
近年来,研究者将深度学习方法应用于对应关系计算,然而基于深度学习的
模型匹配方法面临的挑战主要是缺乏用于监督学习的带标签训练数据。近期的
研究逐渐从最初的有监督学习趋向于无监督学习模式。例如文献[5]提出一种频
谱 无 监 督 函 数 映 射 网 络 (Spectral Unsupe Rvised Functional Maps
Network,SURFMNet)构建模型对应关系的方法。该方法首先通过 FMNet 体系
结构学习描述符,对描述符函数进行非线性变换,然后对描述符函数迭代优化获
得最优的函数映射对应关系,最后再恢复到点到点映射。该方法适用于等距模
型或发生较小尺度形变的模型,一旦模型发生较大形变或受拓扑噪声影响,将导
致模型间的基函数存在不一致的情况,使模型匹配率有所下降。GQOUEIX 等
[6]
提出一种端到端的模型变形网络对应关系计算方法,通过使用共享的模板学习
一致的网格参数来计算模型对应关系。该深度学习网络采用编码器-解码器架
构,编码器模型变形网络将目标模型作为输入并生成一个全局特征描述符,解码
器模型变形网络以全局特征描述符作为输入将模板上的点映射回原始几何模
型,通过从模板的重构比对中读取对应信息来获得模型间映射关系。虽然该方
法直接从原始三维模型数据中学习对应关系,但是其严重依赖中间模板的质量,
极大地降低了算法的可扩展性。
受上述启发,笔者直接从原始三维模型中学习特征,结合函数映射理论构建
一种 无监督孪生 深度函 数映射网络 (Unsupervised Siamese Deep Functional
Maps Network,USDFMN)。主要创新点和贡献有:① 在特征提取网络中采用可
微网 格采样 算子(Differentiable Mesh Sampling Operator,DMSO)以减少将 网
格处理成点集时产生的误差,通过孪生网络学习共享参数获得三维模型特征,而
不是从预先计算的描述符中学习特征;② 在计算函数映射时提出一种新的正则
化约束方法,利用正则化函数映射层计算最优的函数映射矩阵,有效解决了模型
出现错误匹配问题;③ 结合 ZoomOut 算法,将生成的函数映射矩阵高质量地恢
复到点到点映射,所提出的基于无监督孪生深度函数映射网络(USDFMN)的对
应关系计算方法,即使在训练集有限的情况下也能获得更准确的对应关系。
1 相关研究 工作
三维模型对应关系计算是通过提取源模型的特征信息,并与目标模型进行
特征信息比对,在两模型间建立有意义的语义联系。目前三维模型对应关系计
算方法主要分为:基于几何特征的方法、基于函数映射的方法和基于深度学习
的方法。基于几何特征的方法是根据三维模型表面的几何性质来构建模型间对
应关系,例如法向量(Normal Orientation)
[7]
、曲率(Curvature)等局部几何特征信
息,测地距离(Geodesic Distance)、扩散距离(Diffusion Distance)
[8]
等全局几何
特征信息。后期研究者根据先验知识人工设计特征描述符,如方向直方图签名
(Signature of Histograms of OrienTations,SHOT) 描 述 符
[9]
、 热 核 签 名 (Heat
Kernel Signatures,HKS)描述符
[10]
和波核签名(Wave Kernel Signatures,WKS)
描述符
[11]
,来构建模型间准确的对应关系。文献[12]提出一种融合波核签名与热
核签名的特征描述符来计算源模型与目标模型间的对应关系的方法,与只使用
单一特征描述符方法相比,可以得到更准确的对应关系。虽然使用特征描述符
的对应关系计算方法比单纯的计算点到点映射对应关系准确率有所提高,但受
模型自身对称性、噪声干扰、部件缺失和大尺度形变等影响,都会导致计算出
的对应关系准确率不高。
函数映射是近几年提出的三维模型对应关系计算方法,因其具有较高的映
射准确率和计算效率,受到许多研究者的关注。文献[13]提出一种基于光滑性假
设的去除映射模糊的方法,将目标模型的拉普拉斯-贝尔特拉米算子的特征函数
映射到源模型函数空间内,获得准确的点到点映射关系。文献[14]提出校准三维
模型间基矩阵的对应关系计算方法,将模型间对应关系的计算转化为由模型特
征函数构建的基矩阵之间的校准运算,并通过尖端点遍历匹配方法获取较优的
匹配结果。文献[15]研究部分非刚性模型函数映射的对应关系计算,采用拉普拉
斯矩阵的扰动分析计算出较为准确的部分模型与完整模型间的对应关系。文献
[16]使用相似性函数分析从源模型表面到目标模型表面最近邻域的多样性和相
似 性 ,获 得 较 为 准 确 的 对 应 关 系 。 文 献 [17]提 出 一 种 结 合 频 谱 特 征 值 对 齐与
ZoomOut 算法的部分模型与完整模型对应关系计算的方法。该方法在频谱部
分函数映射框架的基础上,添加局部正则化项来提高局部优化精度,利用迭代频
谱上采样 ZoomOut 优化算法获得更为精准的映射关系,在模型发生畸变或受到
拓扑噪声干扰的情况下,能够准确地计算出残缺对应关系。而以上基于函数映
射的方法对于发生较大尺度变形的模型无法有效获得准确的对应关系。
随着深度学习技术在计算机视觉、三维模型分析和处理等领域的应用,研
究者 提 出结合深 度 学习计 算 三维模型 对应关系 的 方法。 深 度函数映 射 (Deep
Functional Maps,DFM)
[18]
利用 残差 网络训 练源模型与 目标模型表 面的拉普拉
斯特征描述符,得到更为准确、涵盖信息更全面的模型特征描述符。算法运用
函数映射方法计算出函数映射矩阵,结合拉普拉斯特征基和函数映射矩阵计算
获得模型的模糊映射(Soft-Correspondence)矩阵,将模型间的对应关系计算作
为深度函数映射网络架构的一部分,通过对模糊映射矩阵与测地距离矩阵进行
点积操作得到准确的对应关系。HALIMI 等
[19]
在深度函数的基础上,用模型的几
何约束代替模型间真实对应关系,定义无监督损失函数以此来评估对应关系的
准确性。但由于模型固有的对称特性,影响了模型对应关系计算的准确率。GAO
等
[20]
通 过 引 入 卷 积 变 分 自 动 编 码 器 (Convolutional Variational
AutoEncoder,CVAE)对源模型和目标模型进行编码,并加入循环一致性损失,用
于构建模型空间上准确的映射关系。当变形在视觉上相似时,表明算法的对应
关系计算效果良好,但对于语义相似但视觉效果上极大不同的模型,算法的模型
匹配度在一定程度上不准确。
剩余14页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 4040
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功