H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

作者: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

将粗略的 SDF 存储在八叉树中，再加上哈希编码的残差，使 NeRF 式的 RGB-D 建图能够在 Jetson Orin 板卡上机载运行，用于手持设备和四旋翼。

为何重要

仅配备 Jetson 级计算机的机器人可以在移动的同时构建带纹理的稠密地图，而不必事后离线重建。由于该方法从任意外部跟踪器获取位姿，它可以接在现有的视觉惯性里程计栈之后，作者用修改过的 VINS-Mono 和 RealSense L515 展示了这一点。

问题

NICE-SLAM 和 Vox-Fusion 等基于 NeRF 的建图器能给出紧凑的地图并能渲染新视角，但其隐式特征需要很长时间来优化，因此即使在 AGX Orin 上也无法实时运行。显式地图（占据栅格、TSDF、面元、网格）速度快，但需要大量内存来表达精细细节，并且无法渲染逼真的新视角。

提出的方法

粗略几何以 SDF 值的形式显式存储在稀疏体素八叉树的顶点上（叶体素为 10 cm），通过将每个顶点投影到深度图中进行初始化；带小型 MLP 的多分辨率哈希编码只学习残差 SDF 和颜色。当点落在体素边上时扩展体素，以免丢失表面；关键帧的选择以覆盖尽可能多的尚未优化的体素为目标；当损失不再改善时提前停止优化。

关键见解

• 把体素顶点投影到单张深度图中就已能得到可用的粗略 SDF，因此几何从最初几次迭代起就接近正确
• 让哈希编码只学习残差 SDF 比学习完整 SDF 更容易，并且在相同迭代次数下同时提高了精度和渲染质量
• 当所有反投影点都位于体素边上时额外分配一个体素，可以防止在优化过程中接近零的 SDF 值翻转符号而产生空洞
• 选择能覆盖最多未优化体素的关键帧，并在全部覆盖后重置，可以在不增加训练样本的情况下改善天花板等很少被看到的区域

主要结果

• Replica（8 个场景，真值位姿）：平均 Depth L1 为 0.42 cm，而 Vox-Fusion 为 0.71 cm，NICE-SLAM 为 1.16 cm；完整率（<5 cm）为 99.25%，而两者分别为 98.55% 和 97.09%
• Replica 渲染：训练视角的平均 PSNR 为 34.49 dB，远处新视角为 30.21 dB，而 Vox-Fusion 为 31.48 / 27.34 dB，NICE-SLAM 为 30.55 / 28.08 dB
• Replica Room0 上的平均每帧处理时间：RTX 4090 上 0.05 s，AGX Orin 上 0.36 s，Orin NX 上 0.66 s，而 Vox-Fusion 为 0.34 / 1.68 / 3.52 s，NICE-SLAM 为 2.69 / 13.01 / 19.03 s
• 消融（表 III）：去掉关键帧策略后，PSNR 从 34.49 dB 降至 33.65 dB，精度从 1.12 cm 变差到 1.28 cm；去掉体素扩展后，完整率从 99.25% 降至 98.52%
• 完全机载的真实世界运行：用手持 AGX Orin 设备建图了一套网格表面积约 127 m² 的公寓，用搭载 Orin NX 的四旋翼建图了一个约 58 m² 的飞行场地的一部分

局限

• 作者表示该方法无法处理动态物体
• 作者表示该方法无法处理长期位姿漂移
• 作者表示仍需进一步加速
• 它只是一个建图模块：位姿必须来自单独的跟踪器，并且基准比较中所有方法都使用真值位姿
• ScanNet 上的结果只有定性展示，因为该数据集没有真值网格

对领域的影响

获得 RA-L 2024 最佳论文奖，被引用 58 次。论文称其代码将发布于 github.com/SYSU-STAR/H2-Mapping。

摘要

实时构建高质量的稠密地图对于机器人、AR/VR 和数字孪生应用至关重要。由于神经辐射场（NeRF）极大地提升了建图性能，在本文中，我们提出了一种基于 NeRF 的建图方法，即使在边缘计算机上也能实现更高质量的重建和实时能力。具体而言，我们提出了一种新颖的分层混合表示，它利用由显式八叉树 SDF 先验辅助的隐式多分辨率哈希编码，在不同细节层次上描述场景。这种表示能够快速初始化场景几何，并使场景几何更容易学习。此外，我们提出了一种覆盖最大化的关键帧选择策略，以解决遗忘问题并提升建图质量，尤其是在边缘区域。据我们所知，我们的方法是首个在手持设备和四旋翼的边缘计算机上实时实现高质量基于 NeRF 建图的方法。实验表明，我们的方法在几何精度、纹理真实感和耗时方面均优于现有的基于 NeRF 的建图方法。代码将发布于：https://github.com/SYSU-STAR/H2-Mapping

链接

• arXiv 2306.03207: https://arxiv.org/abs/2306.03207
• DOI 10.1109/LRA.2023.3313051: https://doi.org/10.1109/LRA.2023.3313051
• PDF: https://arxiv.org/pdf/2306.03207v1
• 代码: https://github.com/SYSU-STAR/H2-Mapping