NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

著者: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

NGEL-SLAM は ORB-SLAM3 のトラッキングとループクロージャに、八分木ベースの複数のニューラルサブマップを組み合わせ、ループクロージャ後に高密度地図を再訓練するのではなく素早く再整列させる。

重要な理由

広い屋内領域の高密度地図を構築するロボットには、ループクロージャ後も一貫性を保ち、新しいキーフレームを素早く取り込める地図が必要である。トラッキングを特徴ベースのシステムに任せ、ニューラル地図をアンカー付きのサブマップに分割することで、地図全体を再訓練せずに両方が得られる。

課題

iMAP や NICE-SLAM のようなニューラル暗黙的 SLAM システムは高密度な幾何形状を与えるが、ニューラル地図を通してトラッキングするためループクロージャがなく、大きなシーンでは大域的一貫性を失う。トラッカーを従来のものに置き換えてもこれは解決しない。ループクロージャによる姿勢更新の後に単一のシーン地図を再訓練するのは遅く、マッピングネットワークの収束の遅さも低遅延なマッピングを妨げるからである。

提案手法

ORB-SLAM3 がトラッキング、局所バンドル調整、ループクロージャを担い、シーンはそれぞれ 1 つのキーフレームにアンカーされた複数の局所的なニューラル暗黙サブマップとして保存される。大域バンドル調整の後、サブマップはまずアンカーの姿勢とともにリアルタイムで移動され、その後ファインチューニングされる。各サブマップは疎な八分木に多階層の特徴を保存し、高速な収束のために小さな占有と色の MLP デコーダをもつ。画像は、ピクセルごとに占有分散の不確かさが最も低いサブマップを選んでレンダリングする。

主な知見

• シーンをアンカー付きのサブマップとして表現することで、ループクロージャによる補正をサブマップの姿勢の更新として適用でき、再訓練なしで地図誤差の大部分が取り除かれる。その後、ファインチューニングで残りの小さな誤差を取り除く。
• ループクロージャ付きの特徴ベースのトラッキング（ORB-SLAM3）は、TUM RGB-D においてニューラル地図を通したトラッキングより高精度だった。
• 疎な八分木は占有された空間でのみ成長するため、高密度なボクセルグリッドに比べてメモリを節約しつつ高速な収束を保つ。キーフレームだけをマッピングすることで、マッピングするフレーム数とデータ I/O がさらに減る。
• レンダリングした占有の分散は深度誤差と正の相関を、PSNR と負の相関をもつため、各ピクセルをどのサブマップがレンダリングするかを選ぶ基準として使える。

主な結果

• Replica（8 シーン）、推定姿勢でのレンダリング：深度 L1 0.65 cm、PSNR 30.44、SSIM 0.876、LPIPS 0.151 に対し、ESLAM は 2.28 cm、29.25、0.855、0.190。真値の姿勢では 1.28 cm、29.53、0.864、0.156 に対し、ESLAM は 2.81 cm、27.33、0.836、0.204。
• TUM RGB-D のトラッキング（ATE RMSE）：fr1/desk で 1.5 cm、fr2/xyz で 0.5 cm、fr3/office で 1.0 cm に対し、ESLAM は 2.5、1.1、2.4 cm。
• ScanNet のトラッキング（6 シーン）：平均 ATE RMSE 7.44 cm に対し、ESLAM 7.50 cm、NICE-SLAM 9.63 cm、iMAP 36.67 cm。6 シーン中 3 シーンで誤差が最小。
• 反復あたりのマッピング時間：14 ms に対し、ESLAM 19 ms、NICE-SLAM 130 ms、iMAP 448 ms。マッピングに使うフレームは 400 ではなく 120。図 1 のキャプションはこれを NICE-SLAM より 10x 高速に動作すると説明している。
• メモリ：5.32 MB に対し、ESLAM 6.79 MB、NICE-SLAM 12.02 MB、iMAP 1.04 MB。
• 地図のファインチューニングにより、Replica の深度 L1 は 1.34 から 1.28 cm に、PSNR は 28.39 から 29.53 に改善した。

制限事項

• 結論ではシステムの対象を屋内シーンに限定しており、RGB-D の入力ストリームを必要とする。
• 評価は記録済みデータセット（Replica、ScanNet、TUM RGB-D、NICE-SLAM のアパートメントシーケンス）のみで、ロボットやライブセンサーでの運用は報告されていない。
• ScanNet では 6 シーン中 3 シーン（0106、0181、0207）で誤差が最小ではなく、ESLAM に対する平均の差は 0.06 cm である。
• iMAP はシーンを単一の MLP に保存するため、使用メモリがより少ない（1.04 MB 対 5.32 MB）。
• ループクロージャ処理の第 2 段階であるサブマップのファインチューニングは、リアルタイムより遅く動作する。

分野への影響

IEEE ICRA 2024 Best Paper Award in Robot Vision を受賞し、被引用数は 40。論文はコードやプロジェクトへのリンクを示していない。

概要

ニューラル暗黙的表現は、Simultaneous Localization and Mapping（SLAM）において高密度な幾何形状を提供する有望な解決策として登場した。しかし、この方向の既存手法は大域的一貫性と低遅延の点で不十分である。本論文では、これらの課題に取り組む NGEL-SLAM を提示する。大域的一貫性を確保するため、我々のシステムはループクロージャを組み込んだ従来の特徴ベースのトラッキングモジュールを利用する。さらに、複数のニューラル暗黙場でシーンを表現することで大域的に一貫した地図を維持し、ループクロージャに素早く適応できるようにする。加えて、我々のシステムは八分木ベースの暗黙的表現を用いることで高速な収束を実現する。ループクロージャへの迅速な対応と高速な収束の組み合わせにより、我々のシステムは大域的一貫性を達成する真に低遅延なシステムとなる。我々のシステムは高忠実度の RGB-D 画像のレンダリングと、高密度で完全な表面の抽出を可能にする。合成データセットと実世界データセットの両方での実験から、我々のシステムが低遅延を保ちながら最先端のトラッキングとマッピングの精度を達成することが示唆される。

リンク

• arXiv 2311.09525: https://arxiv.org/abs/2311.09525
• DOI 10.1109/ICRA57147.2024.10611269: https://doi.org/10.1109/ICRA57147.2024.10611269
• PDF: https://arxiv.org/pdf/2311.09525v1