NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

作者: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

NGEL-SLAM 将 ORB-SLAM3 的跟踪和回环与多个基于八叉树的神经子地图结合，使稠密地图在回环闭合后能被快速重新对齐，而不是重新训练。

为何重要

为大面积室内区域构建稠密地图的机器人，需要这些地图在回环闭合后保持一致，并能快速吸收新的关键帧。把跟踪留在基于特征的系统中，并把神经地图拆分为锚定的子地图，可以在不重新训练整张地图的情况下同时做到这两点。

问题

iMAP 和 NICE-SLAM 等神经隐式 SLAM 系统能提供稠密几何，但它们通过神经地图进行跟踪，没有回环闭合，在大场景中会失去全局一致性。用传统跟踪器替换原跟踪器并不能解决这个问题，因为在回环闭合的位姿更新后重新训练单一场景地图很慢，而建图网络收敛缓慢也妨碍了低延迟建图。

提出的方法

ORB-SLAM3 负责跟踪、局部光束法平差和回环闭合，而场景则存储为若干个局部神经隐式子地图，每个都锚定在一个关键帧上。全局光束法平差之后，子地图先随其锚点位姿实时移动，然后再进行微调；每个子地图在稀疏八叉树中存储多层级特征，并配有小型的占据和颜色 MLP 解码器以实现快速收敛。渲染图像时，对每个像素选择占据方差不确定性最低的子地图。

关键见解

• 把场景表示为锚定的子地图，使回环闭合的校正可以通过更新子地图位姿来施加，这无需重新训练就消除了大部分地图误差；之后的微调再消除剩余的小误差。
• 带回环闭合的基于特征的跟踪（ORB-SLAM3）在 TUM RGB-D 上比通过神经地图进行跟踪更准确。
• 稀疏八叉树只在被占据的空间中生长，因此与稠密体素网格相比节省内存，同时保持快速收敛；只对关键帧建图进一步减少了建图帧数和数据 I/O。
• 渲染出的占据方差与深度误差呈正相关，与 PSNR 呈负相关，因此可作为选择由哪个子地图渲染每个像素的准则。

主要结果

• Replica（8 个场景），使用估计位姿渲染：深度 L1 0.65 cm，PSNR 30.44，SSIM 0.876，LPIPS 0.151，而 ESLAM 为 2.28 cm、29.25、0.855 和 0.190；使用真值位姿时：1.28 cm、29.53、0.864 和 0.156，而 ESLAM 为 2.81 cm、27.33、0.836 和 0.204。
• TUM RGB-D 跟踪（ATE RMSE）：fr1/desk 上 1.5 cm，fr2/xyz 上 0.5 cm，fr3/office 上 1.0 cm，而 ESLAM 分别为 2.5、1.1 和 2.4 cm。
• ScanNet 跟踪（6 个场景）：平均 ATE RMSE 7.44 cm，而 ESLAM 为 7.50 cm，NICE-SLAM 为 9.63 cm，iMAP 为 36.67 cm；在 6 个场景中的 3 个上误差最低。
• 每次迭代的建图时间：14 ms，而 ESLAM 为 19 ms，NICE-SLAM 为 130 ms，iMAP 为 448 ms，使用 120 个建图帧而不是 400 个；图 1 的说明称其运行速度比 NICE-SLAM 快 10x。
• 内存：5.32 MB，而 ESLAM 为 6.79 MB，NICE-SLAM 为 12.02 MB，iMAP 为 1.04 MB。
• 地图微调使 Replica 的深度 L1 从 1.34 cm 改善到 1.28 cm，PSNR 从 28.39 提高到 29.53。

局限

• 结论把系统的适用范围限定在室内场景，并且它需要 RGB-D 输入流。
• 评估只使用录制的数据集（Replica、ScanNet、TUM RGB-D 和 NICE-SLAM 公寓序列）；没有报告在机器人或实时传感器上的部署。
• 在 ScanNet 上，它在六个场景中的三个（0106、0181、0207）上误差不是最低的，其平均领先 ESLAM 的幅度为 0.06 cm。
• iMAP 使用的内存更少（1.04 MB 对 5.32 MB），因为它把场景存储在单个 MLP 中。
• 回环闭合处理的第二阶段，即子地图微调，运行速度低于实时。

对领域的影响

获得 IEEE ICRA 2024 机器人视觉最佳论文奖，被引用 40 次。论文没有给出代码或项目链接。

摘要

神经隐式表示已成为在同步定位与地图构建（SLAM）中提供稠密几何的一种有前景的方案。然而，这一方向上的现有方法在全局一致性和低延迟方面存在不足。本文提出 NGEL-SLAM 来应对上述挑战。为确保全局一致性，我们的系统利用一个包含回环闭合的传统基于特征的跟踪模块。此外，我们用多个神经隐式场来表示场景，从而维护一张全局一致的地图，能够快速根据回环闭合进行调整。而且，我们的系统通过使用基于八叉树的隐式表示实现快速收敛。对回环闭合的快速响应与快速收敛相结合，使我们的系统成为一个真正实现全局一致性的低延迟系统。我们的系统能够渲染高保真的 RGB-D 图像，并提取稠密而完整的表面。在合成和真实世界数据集上的实验表明，我们的系统在保持低延迟的同时实现了最先进的跟踪和建图精度。

链接

• arXiv 2311.09525: https://arxiv.org/abs/2311.09525
• DOI 10.1109/ICRA57147.2024.10611269: https://doi.org/10.1109/ICRA57147.2024.10611269
• PDF: https://arxiv.org/pdf/2311.09525v1