Structure from Motion
- 다른 이름: SfM
- 카테고리: State estimation & navigation › Localisation
- 태그: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping
서로 겹치는 이미지 집합으로부터 카메라 자세와 장면의 희소 3D 점군을 복원하는 것. 여러 시점에 걸쳐 특징을 매칭하고 번들 조정으로 모든 것을 정제한다.
정의
움직임 기반 구조 복원(SfM)(structure from motion)은 서로 겹치는 사진들의 모음으로부터 장면의 3D 구조와 각 이미지의 카메라 자세를 추정한다. 이미지 외에 엄밀히 필요한 것은 없지만, 카메라 내부 파라미터를 알면 도움이 된다. 출력은 카메라 자세 집합, 흔히 정제된 내부 파라미터와 렌즈 왜곡, 그리고 삼각측량된 특징점으로 이루어진 희소 점군이다. 움직이는 카메라 하나만으로는 복원 결과가 전체 스케일, 회전, 평행이동을 제외하고만 정해지므로, 미터 단위 스케일은 알려진 거리, 캘리브레이션 타깃, GNSS 또는 다른 센서에서 얻어야 한다.
COLMAP(Schönberger와 Frahm, 2016)에 구현된 것과 같은 전형적인 점진적 파이프라인은 모든 이미지에서 SIFT 같은 지역 특징을 검출하고, 이미지 쌍 사이에서 이를 매칭한 뒤, RANSAC으로 추정한 2시점 기하 모델, 즉 본질 행렬, 기본 행렬 또는 호모그래피와 일치하는 매칭만 남긴다. 잘 고른 이미지 쌍에서 초기화한 다음, 이미 삼각측량된 점들에 대해 perspective-n-point 문제를 풀어 새 이미지를 등록하고, 새 점을 삼각측량하고, 번들 조정을 실행해 자세, 내부 파라미터, 점을 함께 정제하는 과정을 반복한다. 반면 전역 SfM 방법은 쌍별 관계로부터 모든 카메라의 회전과 평행이동을 한꺼번에 추정한 다음 정제하는데, 대규모 이미지 집합에서 더 빠르지만 잘못된 매칭에 더 민감하다.
SfM과 시각 SLAM은 같은 구성 요소로 밀접하게 관련된 문제를 풀지만, SfM은 보통 오프라인 일괄 처리다. 이미지는 순서가 없을 수 있고, 서로 다른 카메라로 찍혔을 수 있으며, 시간 제한 없이 처리되므로 전수 매칭과 반복적인 전역 최적화가 가능하다. SLAM은 순차적인 스트림 위에서 점진적으로, 실시간으로 실행되어야 한다. 번들 조정은 SfM 안의 최적화 단계이지 파이프라인 전체가 아니다. SfM은 질감 없는 표면, 반복 패턴, 반사하거나 움직이는 물체, 모션 블러에 약하며, 이들은 모두 특징 매칭을 망가뜨린다. SfM이 구한 자세는 조밀한 다중 시점 스테레오, 신경 방사 필드, 가우시안 스플래팅의 표준 출발점이다.
중요한 이유
SfM은 로보틱스 팀이 사진이나 비디오를 보정된 카메라 자세와 실제 장소의 3D 모델로 바꾸는 방법이다. 그 자세는 사진측량, NeRF, 가우시안 스플랫 복원의 입력이 되며, 실제 장면을 시뮬레이션 안에 재구성하는 많은 Sim-to-Real 파이프라인의 입력이 된다. 그 가정을 알면 대부분의 복원 실패를 설명할 수 있다.
주요 응용
- 신경 방사 필드와 가우시안 스플래팅을 위한 카메라 자세 복원
- 물체와 현장의 사진측량 및 3D 스캐닝
- 실제 장면을 시뮬레이션 환경으로 재구성
- 드론을 이용한 항공 매핑과 점검
- 로봇이 나중에 위치 추정의 기준으로 삼는 시각 지도 구축
- 시각 주행거리계와 SLAM 평가를 위한 기준 궤적
실제 사례
이동 로봇 학습용으로 실제 방의 시뮬레이션을 만들기 위해, 엔지니어가 방 안을 천천히 걸으며 비디오를 촬영하고, 선명한 프레임 수백 장을 추출한 뒤, 모든 프레임을 카메라 하나로 찍었으므로 공유 카메라 모델 하나로 COLMAP을 실행한다. 결과에서 등록에 실패한 이미지, 흔히 빈 벽을 향한 프레임을 살펴보고, 복원이 이중으로 겹치거나 휘었는지도 확인한다. 이는 똑같은 수납장 문처럼 반복되는 특징이 잘못된 위치에 매칭되었다는 신호다. 스케일을 바로잡기 위해 크기를 아는 피두셜 마커 몇 개를 방에 두거나, 거리 하나를 측정해 모델의 스케일을 다시 맞춘다. 복원된 자세와 내부 파라미터는 이어서 로봇 학습용 카메라 시점을 렌더링하는 신경 방사 필드나 가우시안 스플랫 복원에 입력된다.
흔한 오해
- SfM은 미터 단위 3D 모델을 준다 — 단안 SfM은 스케일을 제외한 기하만 복원한다. 미터 단위 스케일에는 외부 기준이 필요하다
- SfM과 SLAM은 같은 것이다 — 구성 요소를 공유하지만, SfM은 보통 순서 없는 이미지를 대상으로 오프라인으로 실행되고 SLAM은 실시간으로 점진적으로 실행된다
- SfM은 번들 조정과 같다 — 번들 조정은 정제 단계다. SfM은 특징 매칭, 기하 검증, 초기화, 등록, 삼각측량도 포함한다
- SfM은 조밀한 모델을 만든다 — 표준 출력은 매칭된 특징으로 이루어진 희소 점군이다. 조밀한 표면은 그 뒤에 다중 시점 스테레오나 신경망 기반 복원으로 얻는다
알아야 할 사람
- 인식 및 매핑 엔지니어
- NeRF나 가우시안 스플랫 장면을 구축하는 연구자
- 드론 매핑 및 점검 팀
- 실제 환경을 재구성하는 Sim-to-Real 엔지니어
관련 기술
- COLMAP
- SIFT 특징
- 다중 시점 스테레오(Multi-View Stereo)
- OpenMVG
- 사진측량(Photogrammetry)
- 본질 행렬(Essential Matrix)
관련 용어
관련 프로젝트
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)
동영상
- Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
- Structure from Motion Octocopter - Computerphile: Computerphile