Homography
- 又称: projective transformation, planar homography, collineation
- 类别: Foundations & spatial maths › Frames & transforms
- 标签: computer-vision, projective-geometry, calibration, spatial-math, image-alignment
一种把一个平面上的点映射到另一个平面上的 3×3 射影变换,例如两台相机看到的同一个平面,或者一台只做旋转的相机拍摄的两幅图像。
定义
单应变换(homography)是两个射影平面之间的一种可逆线性映射。在齐次坐标中,一幅图像中的点 x 映射为另一幅图像中的 x′ ≅ Hx,其中 H 是一个 3×3 矩阵,≅ 表示在相差一个尺度因子的意义下相等。由于 H 的整体尺度无关紧要,它有八个自由度。单应变换保持直线,但不保持平行性、长度或角度,正因如此,它能把一个斜着看到的矩形变换成其正视图。仿射变换和相似变换都是它的特例。
有两种情况会在相机图像之间给出精确的单应变换:所有观测点都位于同一个平面上;或者相机绕其光心旋转而不发生平移,此时 H = K R K⁻¹,其中 K 是内参矩阵,R 是旋转。一个平面也可以与它在图像中的自身度量坐标建立联系,此时 H = K[r₁ r₂ t] 由旋转的前两列和平移构成,这正是广泛使用的、基于平面标定靶的 Zhang 相机标定方法的基础。对于从两个位置观察的一般 3D 场景,不在该平面上的点会表现出视差,没有任何单个单应变换能拟合它们。
H 由至少四组点对应关系估计得到,其中任意三点不共线;做法是在归一化坐标上使用直接线性变换,通常放在 RANSAC 中以剔除错误匹配,然后通过最小化重投影误差进行细化。必须先去除镜头畸变,因为畸变不是射影的。对于已标定的相机,单应变换可以分解为一个旋转、一个按到平面距离缩放的平移以及平面法向量,不过这种分解最多会给出四个候选解,必须加以区分。相机内参描述单台相机如何投影 3D 点,n 点透视从已知的 3D 点恢复相机位姿,而单应变换纯粹是两个平面之间的映射,它常常是通向这两者的第一步。
为何重要
只要相机看向一个平面,单应变换就是标准工具:桌面和地面坐标、基准标记、标定靶、图像拼接以及鸟瞰图。它们估计成本低、易于检验,而知道平面假设或纯旋转假设何时失效,可以避免一些不易察觉的错误。
主要应用
- 把桌面、地面和工作台面校正为俯视图
- 利用平面标定靶进行相机标定
- 基于平面基准标记的位姿估计
- 由旋转相机进行图像拼接和生成全景图
- 用于道路鸟瞰图的逆透视变换
- 针对平面目标的基于单应变换的视觉伺服
实际应用
一个在平面画布上作画的机器人需要知道它的笔触实际落在哪里。团队让机器人在已知的指令位置上画出一个点阵,用一台固定相机拍摄画布,去除镜头畸变,并检测各点的中心。在检测到的中心与指令位置之间用 RANSAC 拟合一个单应变换,就得到从相机像素到画布坐标的映射;它把每张新照片变换为画布的俯视图,可以与计划的图像逐像素比较,并显示机器人的笔触在何处、以多大程度偏离了目标。如果边缘附近的残差一直很大,说明画布不平,或者畸变没有被完全去除,单个单应变换就不够了。
常见误解
- 单应变换可以对齐一个场景的任意两幅图像 — 它只对平面场景或纯旋转的相机是精确的;在相机有平移时观察的一般 3D 场景会出现视差
- 单应变换与仿射变换是一回事 — 仿射映射保持平行线平行,而单应变换可以让它们汇聚
- 直接用原始像素坐标估计就可以 — 要得到准确且条件良好的估计,必须去除镜头畸变并对坐标进行归一化
- 分解单应变换会得到唯一的位姿 — 它最多给出四个候选解,需要额外的约束才能选出符合物理实际的那一个
谁需要了解
- 计算机视觉和标定工程师
- 在平面上进行相机引导操作的开发人员
- 自动驾驶感知工程师
- 学习射影几何的机器人专业学生
相关技术
- OpenCV findHomography
- 直接线性变换(Direct Linear Transform)
- AprilTag
- 图像拼接(Image Stitching)
- 逆透视变换(Inverse Perspective Mapping)
相关术语
相关项目
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
- MRPT: Comprehensive C++ toolkit for mobile robotics, SLAM, and sensor-based navigation
- image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
- PULP-Dronet: Visual navigation for nano-drones with CNN inference onboard a PULP processor.
- OpenWeedLocator: Low-cost Raspberry Pi weed detector that uses computer vision for precision spot spraying
视频
- ENB339 lecture 9: Image geometry and planar homography: Peter Corke
- Computing Homography | Image Stitching: First Principles of Computer Vision