Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Tightly Coupled Sensor Fusion

  • 別名: tight coupling
  • カテゴリ: State estimation & navigation › Localisation
  • タグ: sensor-fusion, state-estimation, slam, imu, lidar

各センサーが個別に出した姿勢を組み合わせるのではなく、特徴の観測や生の IMU データといった低レベルな計測から 1 つの共有状態を直接推定してセンサーを融合すること。

定義

密結合センサーフュージョン（Tightly coupled sensor fusion）では、単一の推定器がすべてのセンサーの低レベルな計測（画像の特徴位置、LiDAR の点と平面の距離、IMU の加速度と角速度、GNSS の擬似距離）を受け取り、1 つの共有状態を求める。疎結合のフュージョンでは、まず各センサーまたはサブシステムが、たとえば視覚オドメトリのパイプラインによる姿勢や GNSS 受信機による測位解のように独自の推定値を出し、第 2 段階がそれらの出力を混合する。どちらもセンサーフュージョンの一形態であり、違いは計測がどのレベルで合流するかにある。

密結合は、疎結合が捨ててしまう情報を使う。視覚特徴が少ししか見えないときでも IMU が状態を拘束し続け、特徴が現れるべき位置の予測を助ける。測位解を計算するには追跡している衛星が少なすぎる GNSS 受信機でも、有用な擬似距離を提供できる。センサー間の相関も無視されずにモデル化される。MSCKF、OKVIS、VINS-Mono などの視覚慣性システムは密結合である。LiDAR システムでは、LOAM と LeGO-LOAM は通常疎結合と説明される。IMU はスキャンのデスキューと初期推定の提供にしか使われないからである。一方、LIO-SAM と LVI-SAM は、IMU プリインテグレーションのファクターを LiDAR の制約と同じ最適化の中に置き、LVI-SAM の場合は視覚の制約も加える。

その代償は複雑さと壊れやすさである。密結合の推定器には、すべてのセンサーの正確なモデル、慎重な外部パラメータのキャリブレーションと時間オフセット、信頼できる初期化が必要であり、あるセンサーの計測に生じた故障は、検出して除外しない限り共有推定にそのまま入り込む。疎結合の設計は構築、デバッグ、変更が容易で、故障を隔離できる。そのため、実運用されている多くのシステムは両者を組み合わせている。たとえば、密結合の視覚慣性コアの出力を GNSS やホイールオドメトリと疎結合で融合する、といった構成である。これらの用語は 2 つの明確なクラスというより連続的なスペクトルを表しており、論文によって線を引く位置が同じとは限らない。

重要な理由

システムが密結合か疎結合かによって、暗いシーン、特徴のない廊下、衛星の受信が部分的な状況など、あるセンサーが弱いときの振る舞いが決まる。違いを知っていれば、状態推定の論文を読み解き、精度、ロバスト性、保守性の要求に合ったアーキテクチャを選べる。

主な用途

  • ドローンや AR ヘッドセット向けの視覚慣性オドメトリ
  • LiDAR 慣性および LiDAR・視覚・慣性 SLAM
  • 生の擬似距離を使う車両の GNSS/INS 統合
  • 脚の運動学と IMU データを融合する脚ロボットの状態推定
  • トンネル、暗闇、煙などの劣化した条件下でのナビゲーション

実際の使われ方

LiDAR 慣性マッピング用のバックパックを開発するチームは、疎結合の設計から始める。LiDAR オドメトリのモジュールが姿勢を出力し、拡張カルマンフィルタがそれを IMU の姿勢角と混合する。歩きながら素早く向きを変えるとスキャンマッチングが失敗し、フィルタには混合できる有用な情報がなくなる。チームは、IMU プリインテグレーションのファクターと LiDAR のスキャンマッチングのファクターを 1 つのファクターグラフに置き、IMU のバイアスをオンラインで推定し、LiDAR が短時間失敗している間は IMU が状態をつなぐ密結合の設計に移行する。この変更によってキャリブレーションへの要求も高くなる。統合最適化は LiDAR と IMU の外部パラメータとタイムスタンプのオフセットに敏感なため、チームはハードウェアを変更するたびにキャリブレーションの手順を加える。

よくある誤解

  • 密結合は常に疎結合に勝る — より多くの情報を使うが、キャリブレーション誤差や故障したセンサーに敏感であり、よくできた疎結合システムのほうがロバストな場合もある
  • カメラや LiDAR を IMU と一緒に使うシステムはすべて密結合である — IMU が初期推定やデスキューを提供するだけで推定器に含まれていなければ、そのシステムは疎結合である
  • これらの用語には 1 つの厳密な定義がある — 用法は論文によって異なり、多くのシステムは密結合と疎結合の部分を組み合わせている

知っておくべき人

  • 状態推定と SLAM のエンジニア
  • 自動運転車のナビゲーションチーム
  • ドローンと脚ロボットの開発者
  • GNSS/INS 統合のエンジニア

関連技術

  • 拡張カルマンフィルタ（Extended Kalman Filter）
  • GTSAM
  • MSCKF
  • VINS-Mono
  • LIO-SAM
  • GNSS/INS 統合（GNSS/INS Integration）

関連用語

  • Sensor Fusion
  • Visual-Inertial Odometry
  • IMU Preintegration
  • Factor Graph
  • Extended Kalman Filter
  • LiDAR Odometry

関連プロジェクト

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
  • Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
  • OpenCat: An open-source Arduino and Raspberry Pi-based quadruped robot pet framework
  • FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
  • DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。