Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

SuMa++: Efficient LiDAR-based Semantic SLAM

著者: Xieyuanli Chen, Andres Milioto, Emanuele Palazzolo, Philippe Giguère, Jens Behley, Cyrill Stachniss · IROS 2019

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

SuMa++ は、RangeNet++ による点ごとのセマンティックラベルをサーフェルベースの LiDAR SLAM に加え、それを用いて移動物体をマップから除去し、ICP の残差に重み付けする。

重要な理由

本手法は LiDAR のみを必要とし、カメラは不要で、セマンティクスをマップのクリーニングと、外れ値に対してよりロバストなレジストレーションの両方に用いる。KITTI では、移動しうるクラスをすべて除去すると都市シーンで SLAM が発散しうることも示しており、クラスのみで動的物体を除去しようとする人にとって具体的な警告となる。

課題

幾何のみに依存する LiDAR SLAM は、一貫して移動する物体にロックオンしてしまうことがあり、それによってマップと姿勢推定が破損する。静的構造が少なく移動する車が多い高速道路が最も難しいケースである。移動しうるクラスをすべて除去するのは乱暴な対処であり、スキャンレジストレーションに有用な特徴である駐車中の車まで捨ててしまう。

提案手法

SuMa++ は各スキャンの球面投影上で RangeNet++ を実行してすべての点にラベルを付け、収縮の後に深度の一貫したフラッドフィルを行うことで逆投影によるラベルのアーティファクトを減らし、各サーフェルにラベルとその確率を保存する。ラベルが新しい観測と一致しないサーフェルは、安定度の対数オッズにペナルティを受け、数回の観測の後に除去される。また、フレーム対モデルの ICP は、各残差を Huber 項、スキャンとマップのラベルのセマンティックな適合性、サーフェルの安定度によって重み付けする。

主な知見

  • スキャンとマップの間のセマンティックな不整合によって除去することで、実際に移動した物体を取り除きつつ、レジストレーションに有用な特徴である駐車中の車を残せる。
  • 移動しうるクラスをすべて除去する（SuMa nomovable）とサーフェルマップが疎になり、KITTI の都市シーケンスで発散を引き起こした。その一因は、誤ったラベルが静的なサーフェルを除去したことである。
  • 収縮の後に深度の一貫したフラッドフィルを行うことで、2D の距離画像での予測を 3D 点に逆投影する際に生じるラベル誤りを減らせる。
  • ICP におけるセマンティック重みは、スキャンとマップのラベルが一致しない箇所、例えばすでにマップから除去された移動する車の上の残差の重みを下げる。

主な結果

  • KITTI 道路シーケンス 30–41（5–400 m の区間、回転誤差 °/100 m / 並進誤差 %）：SuMa 1.35/6.13、SuMa nomovable 1.17/1.46、SuMa++ 1.04/1.46。
  • 高速道路シーケンス 35：並進誤差は 26.8%（SuMa）から 1.11%（SuMa++）に低下。シーケンス 40 では 18.0% から 1.95%、シーケンス 41 では 15.6% から 1.67% に低下。
  • KITTI オドメトリの学習シーケンス 00–10（100–800 m の区間）：SuMa++ 0.29/0.70 に対し SuMa 0.36/0.83。IMLS-SLAM は並進誤差 0.55%、LOAM は 0.84% を報告している。
  • KITTI オドメトリのテストセット（サーバ側評価）：並進誤差 1.06%（SuMa は 1.39%）、回転誤差は両者とも 0.0032 deg/m。
  • Nvidia Quadro P4000 を搭載した Intel Xeon W-2123 での処理時間：RangeNet++ のラベル付けがスキャンあたり平均 75 ms、サーフェルによる地図作成が 48 ms、ループクロージャを統合する際は最大 190 ms。

制限事項

  • 動的物体は最初の観測では除去できない。最初のスキャンに移動物体が多いと本手法は失敗するため、初期化期間中は移動しうるクラスをすべて除去する（著者らが述べている制限）。
  • ペナルティを受けるのは移動しうるクラスのみであり、視点によって見え方が変わる植生は意図的に残されている。
  • フラッドフィルの後もセグメンテーション誤りが残り、実際には静的なサーフェルを除去してしまうことがある。
  • 道路シーケンスでは、SuMa++ の性能は移動しうるクラスをすべて除去するベースラインに近く、いくつかのシーケンス（33、36、37、39、40、41）では、並進誤差が少なくとも 1 つのベースラインより高い。
  • 評価は 1 種類のセンサ（Velodyne HDL-64E S2）による KITTI データのみを用いている。セマンティクスはループクロージャには用いられておらず、著者らはこれを今後の課題として挙げている。

分野への影響

被引用数 584（記載の数値）。著者らはソースコードを https://github.com/PRBonn/semantic_suma/ で公開している。

概要

信頼性が高く正確な自己位置推定と地図作成は、ほとんどの自律システムの主要な構成要素である。地図化された環境に関する幾何情報に加えて、セマンティクスは知的なナビゲーション行動を可能にするうえで重要な役割を果たす。ほとんどの現実的な環境では、移動物体によって生じる動的性のためにこのタスクは特に複雑になり、それは地図作成のステップを破損させたり、自己位置推定を狂わせたりしうる。本論文では、3 次元レーザ距離スキャンを利用する、最近発表されたサーフェルベースの地図作成手法を拡張し、セマンティック情報を統合して地図作成プロセスを支援する手法を提案する。セマンティック情報は全層畳み込みニューラルネットワークによって効率的に抽出され、レーザ距離データの球面投影上に描画される。計算されたセマンティックセグメンテーションによりスキャン全体の点ごとのラベルが得られ、ラベル付きサーフェルを持つセマンティックに強化されたマップを構築できる。このセマンティックマップにより、移動物体を確実に除去できるだけでなく、セマンティック制約を通じて投影型スキャンマッチングを改善することもできる。静的構造が非常に少なく、移動する車が大量に存在する KITTI データセットの難しい高速道路シーケンスでの実験評価により、純粋に幾何的な最先端手法と比較した、我々のセマンティック SLAM 手法の利点を示す。

リンク

  • arXiv 2105.11320: https://arxiv.org/abs/2105.11320
  • DOI 10.1109/IROS40897.2019.8967704: https://doi.org/10.1109/IROS40897.2019.8967704
  • PDF: https://arxiv.org/pdf/2105.11320v1
  • コード: https://github.com/PRBonn/semantic_suma/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。