Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Homography

  • 又稱: projective transformation, planar homography, collineation
  • 類別: Foundations & spatial maths › Frames & transforms
  • 標籤: computer-vision, projective-geometry, calibration, spatial-math, image-alignment

一種把某個平面上的點映射到另一個平面的 3×3 射影轉換,例如兩台攝影機看到的同一個平面,或一台只旋轉的攝影機拍下的兩張影像。

定義

單應轉換(homography)是兩個射影平面之間的一種可逆線性映射。在齊次座標中,一張影像中的點 x 映射為另一張影像中的 x′ ≅ Hx,其中 H 是 3×3 矩陣,≅ 表示在相差一個尺度因子的意義下相等。由於 H 的整體尺度並不重要,它有八個自由度。單應轉換保持直線,但不保持平行、長度或角度,因此它能把斜看的矩形轉換成正面視圖。仿射轉換與相似轉換都是它的特例。

有兩種情況會在相機影像之間產生精確的單應轉換:所有觀測到的點都位於同一個平面上;或是相機繞著光學中心旋轉而沒有平移,此時 H = K R K⁻¹,其中 K 是內部參數矩陣,R 是旋轉。一個平面也可以與它在影像中的自身公制座標建立關係,此時 H = K[r₁ r₂ t] 由旋轉的前兩行與平移構成,這正是廣泛使用、以平面校正靶進行的 Zhang 相機校正方法的基礎。對於從兩個位置觀察的一般 3D 場景,不在該平面上的點會出現視差,沒有任何單一的單應轉換能擬合它們。

H 由至少四組點對應關係估計,且其中任三點不共線;做法是在正規化座標上使用直接線性轉換,通常放在 RANSAC 中以剔除錯誤比對,再藉由最小化重投影誤差加以精修。必須先去除鏡頭畸變,因為畸變不是射影的。對於已校正的相機,單應轉換可以分解為一個旋轉、一個依到平面距離縮放的平移,以及平面法向量,不過這種分解最多會給出四個候選解,必須加以區分。相機內部參數描述單一相機如何投影 3D 點,n 點透視從已知的 3D 點恢復相機姿態,而單應轉換純粹是兩個平面之間的映射,常常是通往這兩者的第一步。

為何重要

只要攝影機看著一個平面,單應轉換就是標準工具:桌面與地板座標、基準標記、校正靶、影像拼接,以及鳥瞰圖。它們估計成本低、容易檢驗,而知道平面假設或純旋轉假設何時失效,能避免不易察覺的錯誤。

主要應用

  • 把桌面、地板與工作檯面校正成俯視圖
  • 以平面校正靶進行相機校正
  • 以平面基準標記進行姿態估測
  • 由旋轉攝影機進行影像拼接與產生全景圖
  • 用於道路鳥瞰圖的逆透視映射
  • 針對平面目標、以單應轉換為基礎的視覺伺服

實際應用

一台在平面畫布上作畫的機器人需要知道筆觸實際落在哪裡。團隊讓機器人在已知的命令位置畫出點陣,用一台固定的攝影機拍下畫布,去除鏡頭畸變並偵測各點的中心。在偵測到的中心與命令位置之間以 RANSAC 擬合單應轉換,就得到從攝影機像素到畫布座標的映射;它把每張新照片轉換成畫布的俯視圖,可以與規劃的圖像逐像素比較,並顯示機器人的筆觸在何處、偏離目標多少。如果邊緣附近的殘差一直很大,表示畫布不平,或畸變沒有完全去除,單一的單應轉換就不夠用了。

常見誤解

  • 單應轉換能對齊一個場景的任意兩張影像 — 它只對平面場景或純旋轉的相機是精確的;相機有平移時觀察的一般 3D 場景會出現視差
  • 單應轉換與仿射轉換是同一回事 — 仿射映射讓平行線保持平行,而單應轉換可以讓它們匯聚
  • 直接用原始像素座標估計就可以 — 要得到準確且條件良好的估計,必須去除鏡頭畸變並將座標正規化
  • 分解單應轉換會得到唯一的姿態 — 它最多產生四個候選解,需要額外的限制條件才能選出符合物理的那一個

誰需要了解

  • 電腦視覺與校正工程師
  • 在平面上進行攝影機引導操作的開發人員
  • 自駕車感知工程師
  • 學習射影幾何的機器人學學生

相關技術

  • OpenCV findHomography
  • 直接線性轉換(Direct Linear Transform)
  • AprilTag
  • 影像拼接(Image Stitching)
  • 逆透視映射(Inverse Perspective Mapping)

相關術語

  • Camera Intrinsics
  • Perspective-n-Point
  • RANSAC
  • Extrinsic Calibration
  • Bird's-Eye View
  • Transform

相關專案

  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
  • MRPT: Comprehensive C++ toolkit for mobile robotics, SLAM, and sensor-based navigation
  • image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
  • PULP-Dronet: Visual navigation for nano-drones with CNN inference onboard a PULP processor.
  • OpenWeedLocator: Low-cost Raspberry Pi weed detector that uses computer vision for precision spot spraying

影片

  • ENB339 lecture 9: Image geometry and planar homography: Peter Corke
  • Computing Homography | Image Stitching: First Principles of Computer Vision

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。