Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Homography

  • 다른 이름: projective transformation, planar homography, collineation
  • 카테고리: Foundations & spatial maths › Frames & transforms
  • 태그: computer-vision, projective-geometry, calibration, spatial-math, image-alignment

한 평면 위의 점들을 다른 평면으로 사상하는 3×3 사영 변환. 예를 들어 두 카메라가 본 평평한 표면이나, 회전만 하는 카메라가 찍은 두 이미지 사이의 사상이다.

정의

호모그래피(homography)는 두 사영 평면 사이의 가역 선형 사상이다. 동차 좌표에서 한 이미지의 점 x는 다른 이미지의 x′ ≅ Hx로 사상되며, 여기서 H는 3×3 행렬이고 ≅는 스케일을 제외하고 같다는 뜻이다. H의 전체 스케일은 상관이 없으므로 자유도는 8이다. 호모그래피는 직선은 보존하지만 평행성, 길이, 각도는 보존하지 않으며, 그래서 비스듬히 본 직사각형을 정면에서 본 모습으로 바꿀 수 있다. 아핀 변환과 닮음 변환은 그 특수한 경우다.

카메라 이미지 사이에 정확한 호모그래피가 성립하는 상황은 두 가지다. 관측한 모든 점이 하나의 평면 위에 있을 때, 그리고 카메라가 평행이동 없이 광학 중심을 중심으로 회전할 때다. 후자의 경우 K를 내부 파라미터 행렬, R을 회전이라 하면 H = K R K⁻¹이다. 평면은 이미지 안에서 그 평면 자체의 미터 단위 좌표와도 연결될 수 있으며, 이때 H = K[r₁ r₂ t]는 회전의 처음 두 열과 평행이동으로 만들어진다. 이것이 평면 타깃을 이용한 Zhang의 널리 쓰이는 카메라 캘리브레이션 방법의 기초다. 두 위치에서 본 일반적인 3D 장면에서는 평면 밖의 점들이 시차를 보이며, 하나의 호모그래피로는 이들을 맞출 수 없다.

H는 어느 세 점도 한 직선 위에 있지 않은 최소 네 개의 점 대응으로부터, 정규화된 좌표에 대한 직접 선형 변환으로 추정하며, 보통 잘못된 매칭을 걸러 내기 위해 RANSAC 안에서 추정한 뒤 재투영 오차를 최소화해 정제한다. 렌즈 왜곡은 사영 변환이 아니므로 먼저 제거해야 한다. 캘리브레이션된 카메라라면 호모그래피를 회전, 평면까지의 거리로 스케일된 평행이동, 평면 법선으로 분해할 수 있지만, 이 분해는 최대 네 개의 후보 해를 주므로 그 가운데 하나를 가려내야 한다. 카메라 내부 파라미터가 카메라 하나가 3D 점을 어떻게 투영하는지 기술하고 perspective-n-point가 알려진 3D 점으로부터 카메라 자세를 복원하는 반면, 호모그래피는 순전히 두 평면 사이의 사상이며 흔히 그 둘 중 어느 쪽으로 가든 첫 단계가 된다.

중요한 이유

호모그래피는 카메라가 평평한 표면을 볼 때면 언제나 쓰는 표준 도구다. 테이블과 바닥 좌표, 피두셜 마커, 캘리브레이션 타깃, 이미지 스티칭, 조감도가 그 예다. 추정 비용이 낮고 검증하기 쉬우며, 평면 가정이나 순수 회전 가정이 언제 깨지는지 알면 미묘한 오류를 피할 수 있다.

주요 응용

  • 테이블, 바닥, 작업면의 위에서 내려다본 시점으로의 보정
  • 평면 타깃을 이용한 카메라 캘리브레이션
  • 평면 피두셜 마커로부터의 자세 추정
  • 회전하는 카메라를 이용한 이미지 스티칭과 파노라마
  • 도로의 조감도를 위한 역원근 매핑
  • 평면 타깃에 대한 호모그래피 기반 시각 서보잉

실제 사례

평평한 캔버스에 그림을 그리는 로봇은 붓질이 실제로 어디에 닿는지 알아야 한다. 팀은 로봇에게 알려진 명령 위치에 점들을 격자로 찍게 하고, 고정 카메라로 캔버스를 촬영한 뒤 렌즈 왜곡을 제거하고 점의 중심을 검출한다. 검출한 중심과 명령 위치 사이에 RANSAC으로 호모그래피를 맞추면 카메라 픽셀에서 캔버스 좌표로의 사상을 얻는다. 이 사상으로 새 사진마다 위에서 내려다본 캔버스 시점으로 와핑하면 계획한 이미지와 픽셀 단위로 비교할 수 있고, 로봇의 붓질이 목표에서 어디서 얼마나 벗어나는지 드러난다. 가장자리 근처에서 잔차가 계속 크다면 캔버스가 평평하지 않거나 왜곡이 완전히 제거되지 않은 것이며, 하나의 호모그래피로는 충분하지 않다.

흔한 오해

  • 호모그래피로 한 장면의 어떤 두 이미지든 정렬할 수 있다 — 평면 장면이나 순수하게 회전하는 카메라에서만 정확하다. 카메라가 평행이동하며 본 일반적인 3D 장면에는 시차가 나타난다
  • 호모그래피는 아핀 변환과 같다 — 아핀 사상은 평행선을 평행하게 유지하지만, 호모그래피는 평행선을 한 점으로 모이게 할 수 있다
  • 추정에는 원시 픽셀 좌표를 그대로 써도 된다 — 정확하고 조건이 좋은 추정을 위해서는 렌즈 왜곡을 제거하고 좌표를 정규화해야 한다
  • 호모그래피를 분해하면 유일한 자세가 나온다 — 최대 네 개의 후보 해가 나오며, 물리적으로 맞는 해를 고르려면 추가 제약이 필요하다

알아야 할 사람

  • 컴퓨터 비전 및 캘리브레이션 엔지니어
  • 평평한 표면에서의 카메라 유도 조작 개발자
  • 자율주행 인식 엔지니어
  • 사영 기하학을 배우는 로보틱스 학생

관련 기술

  • OpenCV findHomography
  • 직접 선형 변환(Direct Linear Transform)
  • AprilTag
  • 이미지 스티칭(Image Stitching)
  • 역원근 매핑(Inverse Perspective Mapping)

관련 용어

  • Camera Intrinsics
  • Perspective-n-Point
  • RANSAC
  • Extrinsic Calibration
  • Bird's-Eye View
  • Transform

관련 프로젝트

  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
  • MRPT: Comprehensive C++ toolkit for mobile robotics, SLAM, and sensor-based navigation
  • image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
  • PULP-Dronet: Visual navigation for nano-drones with CNN inference onboard a PULP processor.
  • OpenWeedLocator: Low-cost Raspberry Pi weed detector that uses computer vision for precision spot spraying

동영상

  • ENB339 lecture 9: Image geometry and planar homography: Peter Corke
  • Computing Homography | Image Stitching: First Principles of Computer Vision

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.