NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

作者: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

NGEL-SLAM 將 ORB-SLAM3 的追蹤與迴圈閉合，搭配多個以八元樹為基礎的神經子地圖，讓稠密地圖在迴圈閉合後能迅速重新對齊，而不必重新訓練。

為何重要

為大面積室內區域建立稠密地圖的機器人，需要這些地圖在迴圈閉合後保持一致，並能迅速納入新的關鍵影格。將追蹤留在特徵式系統中，並將神經地圖切分成錨定的子地圖，就能在不重新訓練整張地圖的情況下兼顧這兩點。

問題

iMAP 與 NICE-SLAM 等神經隱式 SLAM 系統能提供稠密幾何，但它們透過神經地圖進行追蹤，沒有迴圈閉合，在大型場景中會失去全域一致性。把追蹤器換成傳統追蹤器並不能解決此問題，因為在迴圈閉合的姿態更新後重新訓練單一場景地圖很慢，而建圖網路收斂緩慢也妨礙了低延遲建圖。

提出的方法

ORB-SLAM3 負責追蹤、局部光束法平差與迴圈閉合，場景則儲存為數個局部神經隱式子地圖，每個都錨定在一個關鍵影格上。全域光束法平差之後，子地圖先隨其錨點姿態即時移動，再進行微調；每個子地圖在稀疏八元樹中儲存多層級特徵，並搭配小型的佔據與色彩 MLP 解碼器，以達成快速收斂。渲染影像時，針對每個像素選擇佔據變異數不確定性最低的子地圖。

關鍵見解

• 將場景表示為錨定的子地圖，讓迴圈閉合的校正可以透過更新子地圖姿態來套用，不需重新訓練就能消除大部分地圖誤差；接著再以微調消除剩下的小誤差。
• 帶有迴圈閉合的特徵式追蹤（ORB-SLAM3）在 TUM RGB-D 上比透過神經地圖追蹤更準確。
• 稀疏八元樹只在被佔據的空間中生長，因此相較於稠密體素網格能節省記憶體，同時維持快速收斂；只對關鍵影格建圖則進一步減少建圖影格數與資料 I/O。
• 渲染出的佔據變異數與深度誤差呈正相關、與 PSNR 呈負相關，因此可作為選擇由哪個子地圖渲染每個像素的準則。

主要結果

• Replica（8 個場景），使用估計姿態渲染：深度 L1 0.65 cm、PSNR 30.44、SSIM 0.876、LPIPS 0.151，ESLAM 則為 2.28 cm、29.25、0.855 與 0.190；使用真值姿態時：1.28 cm、29.53、0.864 與 0.156，ESLAM 則為 2.81 cm、27.33、0.836 與 0.204。
• TUM RGB-D 追蹤（ATE RMSE）：fr1/desk 為 1.5 cm、fr2/xyz 為 0.5 cm、fr3/office 為 1.0 cm，ESLAM 則分別為 2.5、1.1 與 2.4 cm。
• ScanNet 追蹤（6 個場景）：平均 ATE RMSE 為 7.44 cm，ESLAM 為 7.50 cm、NICE-SLAM 為 9.63 cm、iMAP 為 36.67 cm；在 6 個場景中的 3 個誤差最低。
• 每次迭代的建圖時間：14 ms，ESLAM 為 19 ms、NICE-SLAM 為 130 ms、iMAP 為 448 ms，使用 120 個建圖影格而非 400 個；圖 1 的說明將此描述為執行速度比 NICE-SLAM 快 10x。
• 記憶體：5.32 MB，ESLAM 為 6.79 MB、NICE-SLAM 為 12.02 MB、iMAP 為 1.04 MB。
• 地圖微調讓 Replica 的深度 L1 從 1.34 改善到 1.28 cm，PSNR 從 28.39 提高到 29.53。

限制

• 結論將系統的適用範圍限定於室內場景，且它需要 RGB-D 輸入串流。
• 評估只使用錄製的資料集（Replica、ScanNet、TUM RGB-D 與 NICE-SLAM 的公寓序列）；沒有報告在機器人或即時感測器上的部署。
• 在 ScanNet 上，它在六個場景中的三個（0106、0181、0207）誤差並非最低，平均領先 ESLAM 的幅度為 0.06 cm。
• iMAP 使用的記憶體較少（1.04 MB 對 5.32 MB），因為它將場景儲存在單一 MLP 中。
• 迴圈閉合處理的第二階段，也就是子地圖微調，執行速度低於即時。

對領域的影響

榮獲 IEEE ICRA 2024 機器人視覺最佳論文獎，被引用 40 次。論文未提供程式碼或專案連結。

摘要

神經隱式表示已成為在同時定位與地圖建構（SLAM）中提供稠密幾何的一種有潛力的解決方案。然而，這個方向的現有方法在全域一致性與低延遲方面有所不足。本文提出 NGEL-SLAM 來因應上述挑戰。為了確保全域一致性，我們的系統採用一個納入迴圈閉合的傳統特徵式追蹤模組。此外，我們以多個神經隱式場來表示場景，藉此維持一張全域一致的地圖，能夠迅速依迴圈閉合做出調整。再者，我們的系統透過使用以八元樹為基礎的隱式表示來達成快速收斂。對迴圈閉合的迅速回應與快速收斂相結合，使我們的系統成為真正達成全域一致性的低延遲系統。我們的系統能夠渲染高擬真度的 RGB-D 影像，並擷取稠密且完整的表面。在合成與真實世界資料集上的實驗顯示，我們的系統在維持低延遲的同時，達到了最先進的追蹤與建圖精度。

連結

• arXiv 2311.09525: https://arxiv.org/abs/2311.09525
• DOI 10.1109/ICRA57147.2024.10611269: https://doi.org/10.1109/ICRA57147.2024.10611269
• PDF: https://arxiv.org/pdf/2311.09525v1