传统三维重建和深度学习三维重建 MVS笔记总结、问题总结
180 浏览量
2023-09-02
22:28:05
上传
评论 2
收藏 1.27MB PDF 举报
1 plane-sweeping
plane-sweeping
和
patch-match
为三维重建实时和非实时深度图估计的主要算法。
plane-sweeping
算法在三维重建中非常重要，其特别适合并行计算，因此通过
GPU
加速后可
以使复杂的稠密重建达到实时。大多实时三维重建的深度图生成部分采用
plane-sweeping
算
法。而且
plane-sweeping
不用
rectify
，甚至
radial distortion
的图像也可以用。研究
semantic
3D
的
Christian Hane
直接利用鱼眼相机的图像
planes-weeping
也得到很好的效果。
2 传统三维重建深度学习三维重建有何不同呢？
传统的重建方法是使用光度一致性等来计算稠密的三维信息。虽然这些方法在理想的
Lambertian 场景下，精度已经很高。但也有一些常见的局限性，例如弱纹理，高反光和重复纹
理等，使得重建困难或重建的结果不完整。因此，传统三维重建方法在重建的完整性等方面仍有
很大的改进空间。
近年来深度学习在三维重建上取得了很大的成功。基于学习的方法可以引入比如镜面先验和反射
先验等全局语义信息，使匹配更加鲁棒，从而解决传统方法无法克服的难题。因此掌握基于深度
学习的三维重建前沿算法非常重要。另外，在这个大数据时代，深度学习已经是大家必须掌握的
技能，传统视觉算法已经很难有新的突破，各个领域都在朝深度学习方向研究，近几年各大视觉
会议论文都是基于深度学习来实现三维重建，各个大厂招聘也越来越看重深度学习三维重建方法。
3 大型场景重建
（
Accurate Multiple View 3D Reconstruction Using Patch-Based Stereo for Large-Scale
Scenes
--2013）
随 着 现 代 数 码 相 机 的 快 速 发 展 ，现 在 可 以 很 容 易 地 捕 捉 到 大 量 的 高 分 辨 率 图 像 。在 建 筑 遗
产 保 护 、城 市 尺 度 建 模 等 诸 多 应 用 中 ，迫 切 需 要 从 这 些 图 像 中 提 取 三 维 结 构 。多 视 点 立 体 重 建
是 基 于 图 像 的 三 维 图 像 采 集 中 的 一 个 关 键 步 骤 ， 近 年 来 受 到 越 来 越 多 的 关 注 。 虽 然 在 MVS 方
面 已 经 做 出 了 很 大 的 努 力 ，并 提 出 了 一 些 有 效 的 算 法 ，特 别 是 针 对 小 而 紧 凑 的 物 体 ，但 使 用 高
分 辨 率 图 像 (600 万 像 素 及 以 上 )处理大规模场景仍然是一个有待解决的问题。
根 据 [1]， MVS 算 法 可 分 为 四 类 ， 分 别 是 基 于 体 素 的 方 法 [2]-[4]、 基 于 表 面 演 化 的 方 法
[5]-[8]、 基 于 特 征 点 生 长 的 方 法 [9]-[13]和 基 于 深 度 映 射 合 并 的 方 法 [14]-[22]。 在 这 些 类 中 ，
基 于 体 素 的 方 法 只 适 用 于 在 一 个 紧 密 的 封 闭 框 内 的 小 型 紧 凑 对 象 ;基 于 表 面 演 化 的 方 法 需 要 可
资源评论
