Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Structure from Motion

  • 別名: SfM
  • カテゴリ: State estimation & navigation › Localisation
  • タグ: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping

重なり合う画像の集まりから、カメラの位置姿勢とシーンの疎な 3D 点群を復元すること。視点間で特徴を対応付け、すべてをバンドル調整で改良する。

定義

Structure from Motion(SfM)は、重なり合う写真の集まりから、シーンの 3D 構造と各画像を撮影したカメラの位置姿勢を推定する。厳密には画像以外に何も必要ないが、既知のカメラ内部パラメータがあると役に立つ。出力はカメラの位置姿勢の集合、多くの場合は改良された内部パラメータとレンズ歪み、そして三角測量した特徴点からなる疎な点群である。1 台の移動カメラだけを使う場合、再構成は全体のスケール、回転、並進の自由度を残してしか定まらないため、メトリックなスケールは既知の距離、キャリブレーションターゲット、GNSS、または別のセンサーから得なければならない。

COLMAP(Schönberger と Frahm、2016)に実装されているような典型的なインクリメンタル型パイプラインは、すべての画像で SIFT などの局所特徴を検出し、画像ペアの間で対応付けを行い、RANSAC で推定した 2 視点の幾何モデル、すなわち基本行列、基礎行列、またはホモグラフィと整合する対応だけを残す。よく選んだ画像ペアから初期化し、その後、すでに三角測量した点に対して Perspective-n-Point 問題を解いて新しい画像を登録し、新しい点を三角測量し、バンドル調整を実行して位置姿勢、内部パラメータ、点を同時に改良する、という手順を繰り返す。これに対してグローバル SfM の手法は、ペアごとの関係からすべてのカメラの回転と並進を一度に推定し、その後に改良する。大規模な画像集合では高速だが、誤った対応に対してより敏感である。

SfM と視覚 SLAM は、同じ構成要素を使って密接に関連した問題を解くが、SfM は通常オフラインのバッチ処理である。画像は順序がなくてもよく、異なるカメラで撮影されていてもよく、時間制限なしに処理されるため、総当たりの対応付けや繰り返しの全体最適化が可能になる。SLAM は逐次的なストリーム上で、インクリメンタルにリアルタイムで動かなければならない。バンドル調整は SfM 内部の最適化ステップであり、パイプライン全体ではない。SfM は、テクスチャのない面、繰り返しパターン、反射する物体や動く物体、モーションブラーを苦手とし、これらはいずれも特徴の対応付けを損なう。SfM が求めた位置姿勢は、密な多視点ステレオ、ニューラル放射場、ガウシアンスプラッティングの標準的な出発点である。

重要な理由

ロボティクスのチームは SfM によって、写真や動画を、較正済みのカメラ位置姿勢と実在の場所の 3D モデルに変える。これらの位置姿勢は、写真測量、NeRF、ガウシアンスプラッティングによる再構成の入力であり、実際のシーンをシミュレーション内に再構築する多くの Sim2Real パイプラインの入力でもある。その前提を知っていれば、再構成の失敗のほとんどは説明がつく。

主な用途

  • ニューラル放射場とガウシアンスプラッティングのためのカメラ位置姿勢の復元
  • 物体や現場の写真測量と 3D スキャン
  • 実際のシーンをシミュレーション環境として再構築すること
  • ドローンによる空中マッピングと点検
  • ロボットが後で自己位置推定に使う視覚地図の構築
  • 視覚オドメトリや SLAM を評価するための参照軌道

実際の使われ方

移動ロボットの訓練用に実在の部屋のシミュレーションを作るため、エンジニアは部屋をゆっくり歩いて回る動画を撮影し、鮮明なフレームを数百枚抜き出し、すべてのフレームを 1 台のカメラで撮ったので、共有の単一カメラモデルで COLMAP を実行する。結果を調べ、登録に失敗した画像(多くは何もない壁を向いたフレーム)や、二重になったり曲がったりした再構成がないかを確認する。後者は、同じ形の戸棚の扉のような繰り返し特徴が誤った場所に対応付けられた兆候である。スケールを確定するため、大きさのわかっている基準マーカーをいくつか部屋に置くか、ある 1 つの距離を測ってモデルのスケールを合わせ直す。復元した位置姿勢と内部パラメータは、その後ニューラル放射場やガウシアンスプラッティングの再構成に入力され、ロボットの訓練用のカメラ画像をレンダリングする。

よくある誤解

  • SfM はメトリックな 3D モデルを与える — 単眼 SfM はスケールを除いてしか形状を復元できず、メトリックなスケールには外部の基準が必要である
  • SfM と SLAM は同じものである — 構成要素は共通だが、SfM は通常、順序のない画像をオフラインで処理し、SLAM はインクリメンタルにリアルタイムで動作する
  • SfM はバンドル調整と同じである — バンドル調整は改良のステップであり、SfM には特徴の対応付け、幾何検証、初期化、登録、三角測量も含まれる
  • SfM は密なモデルを生成する — 標準的な出力は対応付けた特徴の疎な点群であり、密な表面はその後で多視点ステレオやニューラル再構成によって得る

知っておくべき人

  • 知覚・地図作成のエンジニア
  • NeRF やガウシアンスプラッティングのシーンを構築する研究者
  • ドローンによる測量・点検のチーム
  • 実環境を再構築する Sim2Real エンジニア

関連技術

  • COLMAP
  • SIFT 特徴(SIFT Features)
  • 多視点ステレオ(Multi-View Stereo)
  • OpenMVG
  • 写真測量(Photogrammetry)
  • 基本行列(Essential Matrix)

関連用語

  • Bundle Adjustment
  • Camera Intrinsics
  • SLAM
  • Neural Radiance Field
  • 3D Gaussian Splatting
  • Perspective-n-Point

関連プロジェクト

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
  • OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
  • RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)

動画

  • Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
  • Structure from Motion Octocopter - Computerphile: Computerphile

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。