Homography
- 別名: projective transformation, planar homography, collineation
- カテゴリ: Foundations & spatial maths › Frames & transforms
- タグ: computer-vision, projective-geometry, calibration, spatial-math, image-alignment
ある平面上の点を別の平面へ写す 3×3 の射影変換。2 台のカメラから見た同じ平らな面や、回転だけをするカメラで撮った 2 枚の画像などに用いる。
定義
ホモグラフィ(homography)は、2 つの射影平面の間の可逆な線形写像である。同次座標では、一方の画像の点 x は他方の画像の x′ ≅ Hx に写される。ここで H は 3×3 行列であり、≅ はスケール倍を除いて等しいことを表す。H の全体のスケールは意味をもたないので、自由度は 8 である。ホモグラフィは直線を保つが、平行性、長さ、角度は保たない。そのため、斜めから見た長方形を正面から見た像に変換できる。アフィン変換や相似変換はその特殊な場合である。
カメラ画像の間で厳密なホモグラフィが成り立つ状況は 2 つある。観測した点がすべて 1 つの平面上にある場合と、カメラが並進せずに光学中心のまわりで回転する場合である。後者では H = K R K⁻¹ となり、K は内部パラメータ行列、R は回転である。平面と、画像中でのその平面自身の計量座標とを関係づけることもでき、その場合 H = K[r₁ r₂ t] は回転の最初の 2 列と並進から構成される。これが、平面ターゲットを使う広く用いられた Zhang のカメラキャリブレーション手法の基礎である。2 つの位置から見た一般の 3D シーンでは、平面外の点に視差が生じ、単一のホモグラフィではそれらに当てはまらない。
H は、どの 3 点も同一直線上にない少なくとも 4 組の点対応から、正規化座標上の直接線形変換で推定する。誤った対応を除くため通常は RANSAC の中で行い、その後、再投影誤差を最小化して改良する。レンズ歪みは射影的でないため、先に除去しておかなければならない。キャリブレーション済みのカメラでは、ホモグラフィを回転、平面までの距離でスケールされた並進、平面の法線に分解できるが、この分解は最大 4 つの候補解を与えるため、それらを判別する必要がある。カメラ内部パラメータが 1 台のカメラによる 3D 点の投影を記述し、Perspective-n-Point が既知の 3D 点からカメラ姿勢を復元するのに対し、ホモグラフィは純粋に 2 つの平面の間の写像であり、多くの場合そのどちらかへ向かう最初のステップとなる。
重要な理由
カメラが平らな面を見る場面では、ホモグラフィが標準的な道具となる。テーブルや床の座標、基準マーカー、キャリブレーションターゲット、画像スティッチング、鳥瞰図などである。推定が安価で検証も容易であり、平面や純粋な回転という仮定がどこで崩れるかを知っておけば、気づきにくい誤りを避けられる。
主な用途
- テーブル、床、作業面の真上視点への補正
- 平面ターゲットを用いたカメラキャリブレーション
- 平面の基準マーカーからの姿勢推定
- 回転するカメラによる画像スティッチングとパノラマ
- 道路の鳥瞰図を得るための逆透視変換
- 平面ターゲットに対するホモグラフィベースのビジュアルサーボ
実際の使われ方
平らなキャンバスに絵を描くロボットは、筆跡が実際にどこに落ちるかを知る必要がある。チームはロボットに、既知の指令位置に点の格子を描かせ、固定カメラでキャンバスを撮影し、レンズ歪みを除去して点の中心を検出する。検出した中心と指令位置の間で RANSAC を使ってホモグラフィを当てはめると、カメラのピクセルからキャンバス座標への写像が得られる。これによって新しい写真をすべて真上から見たキャンバスの像に変換でき、計画した画像とピクセルごとに比較して、ロボットの筆跡がどこでどれだけ目標からずれているかがわかる。縁の近くで残差が大きいままなら、キャンバスが平らでないか歪みが完全に除去されていないということであり、単一のホモグラフィでは足りない。
よくある誤解
- ホモグラフィはシーンの任意の 2 枚の画像を位置合わせできる — 厳密なのは平面シーンか純粋に回転するカメラの場合だけであり、カメラの並進を伴って見た一般の 3D シーンには視差が生じる
- ホモグラフィはアフィン変換と同じである — アフィン写像は平行線を平行に保つが、ホモグラフィは平行線を収束させることがある
- 推定には生のピクセル座標で十分である — 正確で条件のよい推定のためには、レンズ歪みを除去し、座標を正規化しなければならない
- ホモグラフィを分解すれば姿勢が一意に決まる — 最大 4 つの候補解が得られ、物理的に正しいものを選ぶには追加の制約が必要である
知っておくべき人
- コンピュータビジョンとキャリブレーションのエンジニア
- 平らな面の上でカメラ誘導のマニピュレーションを開発する開発者
- 自動運転の知覚エンジニア
- 射影幾何を学ぶロボット工学の学生
関連技術
- OpenCV findHomography
- 直接線形変換(Direct Linear Transform)
- AprilTag
- 画像スティッチング(Image Stitching)
- 逆透視変換(Inverse Perspective Mapping)
関連用語
関連プロジェクト
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
- MRPT: Comprehensive C++ toolkit for mobile robotics, SLAM, and sensor-based navigation
- image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
- PULP-Dronet: Visual navigation for nano-drones with CNN inference onboard a PULP processor.
- OpenWeedLocator: Low-cost Raspberry Pi weed detector that uses computer vision for precision spot spraying
動画
- ENB339 lecture 9: Image geometry and planar homography: Peter Corke
- Computing Homography | Image Stitching: First Principles of Computer Vision