Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

MAC-VO: Metrics-Aware Covariance for Learning-Based Stereo Visual Odometry

著者: Yuheng Qiu, Yutian Chen, Zihao Zhang, Wenshan Wang, Sebastian Scherer · ICRA 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

MAC-VO はピクセルごとのフローと深度の不確かさを学習し、それを完全な計量スケールの 3D キーポイント共分散に変換して、キーポイントの選択と 2 フレーム姿勢最適化の重み付けに用いる。

重要な理由

実際の計量スケールを持つ共分散は、各姿勢推定をどこまで信頼すべきかをロボットに伝え、VO と他のセンサーを融合するための一貫した基盤を与える。MAC-VO は、ループクロージャやバンドル調整を用いず 2 フレーム最適化のみでこの結果に到達し、ファインチューニングなしで合成学習データから実データセットへ転移する。

課題

ビジュアルオドメトリは、低照度、動的シーン、テクスチャのない領域で性能が低下する。幾何学的 VO は画像勾配の閾値でキーポイントを選択し、一定の手動調整された共分散を用いる。一方、DROID-SLAM のような学習ベースのシステムは、スケールに依存せず対角のみの信頼度重みを用いる。このような重みは実際の 3D 誤差を反映せず、屋内と屋外のスケール間で一貫性がなく、他のセンサーとの統合も難しい。

提案手法

GMA モーションアグリゲータと追加の不確かさデコーダを備えた FlowFormer を基盤とする共有マッチングネットワークが、ステレオ深度、オプティカルフロー、およびそれらの不確かさを予測する。このネットワークは合成データセット TartanAir のみで、負の対数尤度損失により学習される。キーポイントは、不確かさフィルタ（そのフレームの不確かさの中央値の 1.5× を超えるピクセルを破棄）、幾何学的フィルタ、非最小値抑制を通過する。2D の不確かさはピンホールモデルを通じて非対角項を含む完全な 3D 共分散へと伝播され、PyPose 上で Levenberg-Marquardt 法により解かれる 2 フレームのポーズグラフの残差を重み付けする。

主な知見

  • 学習された不確かさは、DPVO のランダム選択器や ORB-SLAM の手作り特徴に代わるキーポイント選択器として機能し、移動する車両、遮蔽された物体、反射面、特徴のない領域上の点を取り除く。
  • 共分散の非対角項は重要である。これを除く（DiagCov）と、TartanAir v2 Hard の並進誤差は 0.0141 から 0.0461 m/frame に増加した。
  • スケールの一貫性は重要である。スケールに依存しない（正規化された）共分散では、TartanAir v2 Hard の並進誤差が 0.0204 m/frame に増加し、Easy セットでは 0.0051 から 0.0086 m/frame に増加した。
  • マッチした点の深度の不確かさは、その局所パッチ内の深度のガウス重み付き分散として推定され、フローの不確かさと深度誤差を結び付ける。
  • バックエンドで疎な特徴を用いることで GPU メモリを 4.20 GB に抑えており、DROID-SLAM（28.34 GB）の 6.7 分の 1 である。

主な結果

  • EuRoC：平均並進誤差は DROID-SLAM と同等で、回転誤差は、ループクロージャと大域的バンドル調整を備えた SLAM システムを含むすべてのベースラインより約 10% 良い。
  • TartanAir v2 Hard：並進誤差は最も近い競合手法より 61.9% 低い。月面軌跡 H00 では並進誤差が 82.4% 低く、回転誤差も最小である。
  • KITTI：並進誤差は ORB-SLAM3 に次ぐ 2 番目で、他の VO 手法より 53.3% 低い。回転誤差は劣り、著者らはこれを複数フレーム最適化の欠如によるものとしている。
  • TartanAir v2 Hard でのモジュールアブレーション：並進誤差は完全なシステムで 0.0141 m/frame、ランダムなキーポイントと単位共分散では 0.0743、共分散最適化なしでは 0.0679、不確かさに基づくキーポイント選択なしでは 0.0188 である。
  • Ryzen 9 5950X と RTX 3090 Ti 上、640×640 での実行速度：素の状態で 2.15 fps、TensorRT とマルチプロセスで 3.96 fps、Fast モードで 10.57 fps（Table V。本文では 10.5 fps と記載）であり、完全版の 70% の性能となる。Fast モードは半精度を用い、Table V では bf16、Appendix I では float16 と記載されている。

制限事項

  • 著者らは、本手法が 2 フレームの姿勢最適化しか行わないことを指摘し、バンドル調整、複数フレーム最適化、ループクロージャによる改善を見込んでいる。
  • KITTI での回転誤差は並進誤差より劣り、著者らはこれを複数フレーム最適化の欠如によるものとしている。
  • 共分散モデルを IMU などの他のセンサーと融合することは今後の課題とされている。
  • 完全なモデルはデスクトップ向け RTX 3090 Ti 上で 2.15–3.96 fps で動作する。10.5 fps の Fast モードは性能の約 70% を保つ。
  • 視差から深度を求める近似は、視差がゼロに近づくにつれて悪化する。Monte Carlo による検証では、誤差率 γ < 0.3 であれば許容できるとされている。

分野への影響

本論文は IEEE ICRA 2025 Best Conference Paper Award と IEEE ICRA 2025 Best Paper Award on Robot Perception を受賞し、被引用数は 37 である。論文に記載されたプロジェクトページ（mac-vo.github.io）は、公開コードリポジトリとドキュメントにリンクしている。

概要

我々は、学習された計量を考慮したマッチングの不確かさを、キーポイントの選択とポーズグラフ最適化における残差の重み付けという二つの目的に活用する、新しい学習ベースのステレオ VO である MAC-VO を提案する。エッジのようなテクスチャの豊富な特徴を優先する従来の幾何学的手法と比べ、我々のキーポイント選択器は学習された不確かさを用いて、大域的な不整合に基づき低品質な特徴を除去する。共分散としてスケールに依存しない対角重み行列をモデル化する学習ベースのアルゴリズムとは対照的に、我々はキーポイント登録時の空間的誤差と異なる軸間の相関を捉える、計量を考慮した共分散モデルを設計する。この共分散モデルをポーズグラフ最適化に組み込むことで、特に照明、特徴密度、運動パターンが変化する困難な環境において、姿勢推定のロバスト性と信頼性が向上する。公開ベンチマークデータセットにおいて、MAC-VO は困難な環境で既存の VO アルゴリズム、さらには一部の SLAM アルゴリズムをも上回る。共分散マップは推定された姿勢の信頼性に関する有益な情報も提供し、自律システムの意思決定に役立ちうる。

リンク

  • arXiv 2409.09479: https://arxiv.org/abs/2409.09479
  • DOI 10.1109/ICRA55743.2025.11128482: https://doi.org/10.1109/ICRA55743.2025.11128482
  • PDF: https://arxiv.org/pdf/2409.09479v1
  • コード: https://github.com/MAC-VO/MAC-VO
  • プロジェクトページ: https://mac-vo.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。