H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

著者: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

粗い SDF を八分木に格納し、ハッシュ符号化した残差を加えることで、NeRF 方式の RGB-D マッピングを手持ち機材やクアッドロータの Jetson Orin ボード上でオンボード実行できるようにする。

重要な理由

Jetson クラスのコンピュータしか持たないロボットでも、後からオフラインで再構成する代わりに、移動しながらテクスチャ付きの高密度地図を構築できる。本手法は任意の外部トラッカから姿勢を受け取るため、既存のビジュアル慣性オドメトリのスタックの後段に置くことができ、著者らは改変した VINS-Mono と RealSense L515 でこれを示している。

課題

NICE-SLAM や Vox-Fusion などの NeRF ベースのマッパはコンパクトな地図を与え、新しい視点をレンダリングできるが、暗黙的な特徴の最適化に長い時間がかかるため、AGX Orin 上でさえリアルタイムで動作できない。明示的な地図（占有格子、TSDF、サーフェル、メッシュ）は高速だが、細部を表すには多くのメモリを要し、写実的な新規視点をレンダリングできない。

提案手法

粗い形状は疎なボクセル八分木（葉ボクセル 10 cm）の頂点における SDF 値として明示的に格納され、各頂点を深度画像に投影することで初期化される。小さな MLP を伴うマルチ解像度ハッシュ符号化は残差 SDF と色だけを学習する。点がボクセルの辺上にある場合は表面が失われないようボクセルを拡張し、キーフレームはまだ最適化されていないボクセルをできるだけ多くカバーするように選ばれ、損失が改善しなくなると最適化を早期に打ち切る。

主な知見

ボクセルの頂点を 1 枚の深度画像に投影するだけで使える粗い SDF が得られるため、形状は最初の数回の反復からほぼ正しい
ハッシュ符号化に残差 SDF だけを学習させるほうが完全な SDF を学習させるより容易で、同じ反復回数で精度とレンダリング品質の両方が向上する
逆投影した点がすべてボクセルの辺上にある場合に追加のボクセルを割り当てることで、最適化中にゼロに近い SDF 値の符号が反転して穴が開くのを防ぐ
未最適化のボクセルを最も多くカバーするようにキーフレームを選び、すべてカバーしたらリセットすることで、学習サンプルを増やさずに天井のようなめったに見えない領域が改善する

主な結果

Replica（8 シーン、真値の姿勢）：平均 Depth L1 は 0.42 cm で、Vox-Fusion は 0.71 cm、NICE-SLAM は 1.16 cm。完全率（<5 cm）は 99.25% で、それぞれ 98.55% と 97.09%
Replica のレンダリング：平均 PSNR は学習視点で 34.49 dB、離れた新規視点で 30.21 dB。Vox-Fusion は 31.48 / 27.34 dB、NICE-SLAM は 30.55 / 28.08 dB
Replica Room0 での平均フレーム処理時間：RTX 4090 で 0.05 s、AGX Orin で 0.36 s、Orin NX で 0.66 s。Vox-Fusion は 0.34 / 1.68 / 3.52 s、NICE-SLAM は 2.69 / 13.01 / 19.03 s
アブレーション（表 III）：キーフレーム戦略を除くと PSNR は 34.49 から 33.65 dB に下がり、精度は 1.12 から 1.28 cm に悪化する。ボクセル拡張を除くと完全率は 99.25% から 98.52% に下がる
完全にオンボードでの実世界実行：手持ちの AGX Orin 機材でメッシュ表面積約 127 m² のアパートを、Orin NX を搭載したクアッドロータで約 58 m² の飛行場の一部をマッピングした

制限事項

著者らは、本手法は動的な物体を扱えないと述べている
著者らは、長期的な姿勢のドリフトを扱えないと述べている
著者らは、さらなる高速化が依然として必要だと述べている
これはマッピングモジュールにすぎない。姿勢は別のトラッカから得る必要があり、ベンチマーク比較ではすべての手法で真値の姿勢を用いている
ScanNet の結果は定性的なものだけである。このデータセットには真値のメッシュがないためである

分野への影響

RA-L 2024 Best Paper Award を受賞し、被引用数は 58 である。論文ではコードを github.com/SYSU-STAR/H2-Mapping で公開するとしている。

概要

高品質な高密度地図をリアルタイムで構築することは、ロボティクス、AR/VR、デジタルツインの応用に不可欠である。Neural Radiance Field（NeRF）がマッピング性能を大きく向上させたことを受け、本論文では、エッジコンピュータ上でもより高品質な再構成とリアルタイム性を実現する NeRF ベースのマッピング手法を提案する。具体的には、明示的な八分木 SDF 事前情報に支えられた暗黙的なマルチ解像度ハッシュ符号化を活用し、シーンを異なる詳細度で記述する新しい階層的ハイブリッド表現を提案する。この表現により、シーン形状を高速に初期化でき、シーン形状の学習も容易になる。さらに、忘却の問題に対処し、特に周縁部でマッピング品質を高めるため、カバレッジを最大化するキーフレーム選択戦略を提示する。我々の知る限り、本手法は手持ちデバイスやクアッドロータのエッジコンピュータ上で、高品質な NeRF ベースのマッピングをリアルタイムで実現した初めての手法である。実験により、本手法が形状の精度、テクスチャの写実性、所要時間において既存の NeRF ベースのマッピング手法を上回ることが示された。コードは次の場所で公開予定である：https://github.com/SYSU-STAR/H2-Mapping

リンク

arXiv 2306.03207: https://arxiv.org/abs/2306.03207
DOI 10.1109/LRA.2023.3313051: https://doi.org/10.1109/LRA.2023.3313051
PDF: https://arxiv.org/pdf/2306.03207v1
コード: https://github.com/SYSU-STAR/H2-Mapping