H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

作者: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

將粗略的 SDF 存放在八元樹中，再加上以雜湊編碼的殘差，讓 NeRF 風格的 RGB-D 建圖能在 Jetson Orin 板上機載執行，用於手持裝置與四旋翼。

為何重要

只配備 Jetson 等級電腦的機器人，可以在移動的同時建立帶紋理的稠密地圖，而不必事後離線重建。由於此方法可從任何外部追蹤器取得姿態，它能接在既有的視覺慣性里程計堆疊之後，作者以修改過的 VINS-Mono 與 RealSense L515 展示了這點。

問題

NICE-SLAM 與 Vox-Fusion 等基於 NeRF 的建圖器能產生精簡的地圖，也能渲染新視角，但其隱式特徵需要很長時間最佳化，因此即使在 AGX Orin 上也無法即時執行。顯式地圖（佔據格網、TSDF、面元、網格）速度快，但要表現精細細節需要大量記憶體，也無法渲染逼真的新視角。

提出的方法

粗略幾何以 SDF 值的形式，顯式存放在稀疏體素八元樹的頂點上（葉體素為 10 cm），並將每個頂點投影到深度影像中來初始化；搭配小型 MLP 的多解析度雜湊編碼只學習殘差 SDF 與顏色。當點落在體素邊上時會擴展體素，以免遺失表面；關鍵影格的挑選以涵蓋盡可能多的尚未最佳化體素為目標；當損失不再改善時便提前停止最佳化。

關鍵見解

• 把體素頂點投影到單張深度影像中，就已能得到可用的粗略 SDF，因此幾何從最初幾次迭代起就接近正確
• 讓雜湊編碼只學習殘差 SDF，比學習完整 SDF 更容易，而且在相同迭代次數下同時提升準確度與渲染品質
• 當所有反投影點都落在體素邊上時額外配置一個體素，可避免在最佳化過程中接近零的 SDF 值翻轉正負號而產生破洞
• 挑選能涵蓋最多尚未最佳化體素的關鍵影格，並在全部涵蓋後重設，可在不增加訓練樣本的情況下，改善天花板這類很少被看到的區域

主要結果

• Replica（8 個場景，真值姿態）：平均 Depth L1 為 0.42 cm，Vox-Fusion 為 0.71 cm、NICE-SLAM 為 1.16 cm；完整率（<5 cm）為 99.25%，兩者分別為 98.55% 與 97.09%
• Replica 渲染：訓練視角的平均 PSNR 為 34.49 dB，遠處新視角為 30.21 dB，Vox-Fusion 為 31.48 / 27.34 dB、NICE-SLAM 為 30.55 / 28.08 dB
• Replica Room0 上的平均每影格處理時間：RTX 4090 上 0.05 s、AGX Orin 上 0.36 s、Orin NX 上 0.66 s，Vox-Fusion 為 0.34 / 1.68 / 3.52 s，NICE-SLAM 為 2.69 / 13.01 / 19.03 s
• 消融實驗（表 III）：移除關鍵影格策略後，PSNR 從 34.49 dB 降至 33.65 dB，準確度從 1.12 cm 變差為 1.28 cm；移除體素擴展後，完整率從 99.25% 降至 98.52%
• 完全機載的真實世界執行：以手持 AGX Orin 裝置建圖一間網格表面積約 127 m² 的公寓，並以搭載 Orin NX 的四旋翼建圖一座約 58 m² 飛行場地的一部分

限制

• 作者表示此方法無法處理動態物體
• 作者表示此方法無法處理長期的姿態漂移
• 作者表示仍需要進一步加速
• 它只是一個建圖模組：姿態必須來自另外的追蹤器，而基準比較中所有方法都使用真值姿態
• ScanNet 上的結果僅為定性呈現，因為該資料集沒有真值網格

對領域的影響

獲得 RA-L 2024 最佳論文獎，被引用 58 次。論文表示其程式碼將釋出於 github.com/SYSU-STAR/H2-Mapping。

摘要

即時建構高品質的稠密地圖，對機器人、AR/VR 與數位孿生應用至關重要。由於神經輻射場（NeRF）大幅提升了建圖效能，本文提出一種基於 NeRF 的建圖方法，即使在邊緣電腦上也能實現更高品質的重建與即時運作能力。具體而言，我們提出一種新穎的階層式混合表示法，利用由顯式八元樹 SDF 先驗輔助的隱式多解析度雜湊編碼，以不同的細節層級描述場景。此表示法能快速初始化場景幾何，並讓場景幾何更容易學習。此外，我們提出一種最大化涵蓋範圍的關鍵影格選擇策略，以解決遺忘問題並提升建圖品質，尤其是在邊緣區域。就我們所知，我們的方法是第一個在手持裝置與四旋翼的邊緣電腦上即時實現高品質 NeRF 建圖的方法。實驗顯示，我們的方法在幾何準確度、紋理真實感與耗時方面，都優於現有的基於 NeRF 的建圖方法。程式碼將釋出於：https://github.com/SYSU-STAR/H2-Mapping

連結

• arXiv 2306.03207: https://arxiv.org/abs/2306.03207
• DOI 10.1109/LRA.2023.3313051: https://doi.org/10.1109/LRA.2023.3313051
• PDF: https://arxiv.org/pdf/2306.03207v1
• 程式碼: https://github.com/SYSU-STAR/H2-Mapping