nerf-slam的复现文档
3星 · 超过75%的资源 需积分: 5 70 浏览量
2023-05-06
12:21:22
上传
评论 8
收藏 11.01MB DOCX 举报 
nerf-slam 实现三维重建
Introduction
我们知道在 slam 领域，传统视觉 slam 算法经过较长时间的理论积累和工程优化
经验，是目前工程上主流的实现方案，而深度学习与在 slam 上的发展也慢慢显
露出其优势，发展速度也越来越快。目前基于 nerf 的火热，nerf-base 的 slam
相关工作也慢慢出现，nerf-base 可以将 nerf 的惊人效果和 slam 结合在一起，
与传统 slam 如 orb-slam 这种稀疏关键点地图相比，在稠密建图上可以实现惊人
的重建效果。本文介绍的 nerf-slam 是一篇结合了多个优秀工作的成果，与
nice-slam 相比，它的输入值需要 rgb 数据就可以实现非常优秀的效果。
Tracking: Dense SLAM with Covariances
输入由连续的单目图像组成（这里表示为 Img 1 和 Img 2）。从右上角开始，该
架构使用 instant-NGP 的 NeRF，其输入为 RGB 图像 I，深度 D 来监督，其中深度
由其边缘协方差∑D 加权。我们从稠密单目 SLAM（Droid SLAM）计算这些协方差。
蓝色显示 Droid SLAM 的贡献和信息流，同样，粉色显示 Rosinol 的贡献，红色
显示本文的贡献。
RAFT
Droid SLAM 是基于 RAFT 的思路来做的，所以我们先来看看 RAFT 做了什么。RAFT
是一个利用 convGRU 来做光流估计的模型，获得了很好的效果：
RAFT 由 3 个主要组件组成：
（1）从两个输入图像中提取每像素特征的特征编码器，以及仅从 I1 中提取特征
的上下文编码器。（2） 一个相关层，通过取所有对的内积来构建 4D W×H×W×
H correlation volume 特征向量。4D correlation volume 的最后二维在多个尺
度上进行合并，以构建一组多尺度体积。
（3） 一种更新算子，通过使用当前估计值从一组相关体积中查找值来反复更新
光流。
Droid-SLAM
droid-slam 在 RAFT 基础上修改了更新部分。看上图示，操作符作用于 frame
graph 中的边，预测通过（DBA）层映射到深度和位姿更新修正。
注意这里的 pi 指的是 frame i 对应的像素点 p，di 为 frame i 的逆深度，通过相
机投影和反投影，
pij 表示 frame i 的像素点 pi 使用估计的 pose 和深度信息映射到 frame j。
剩余61页未读，继续阅读
资源评论
qq_446240172024-01-06请问这个报错是因为什么./examples/../slam/visual_frontends/visual_frontend.py", line 63, in <module> from networks.modules.extractor import BasicEncoder ModuleNotFoundError: No module named 'networks.modules'
