Structure from Motion
- 又称: SfM
- 类别: State estimation & navigation › Localisation
- 标签: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping
从一组相互重叠的图像中恢复相机位姿和场景的稀疏 3D 点云:在不同视图之间匹配特征,并用光束法平差细化所有结果。
定义
运动恢复结构(structure from motion,SfM)从一组相互重叠的照片中,估计场景的 3D 结构以及拍摄每张图像时的相机位姿。严格来说,除了图像之外不需要任何其他东西,不过已知的相机内参会有帮助。输出是一组相机位姿、通常还有经过细化的内参和镜头畸变,以及由三角化得到的特征点构成的稀疏点云。如果只用一台移动的相机,重建结果只能确定到一个整体的尺度、旋转和平移,因此度量尺度必须来自一个已知距离、一个标定靶、GNSS 或其他传感器。
典型的增量式流程,例如 COLMAP(Schönberger 和 Frahm,2016)中的实现,会在每张图像中检测 SIFT 等局部特征,在图像对之间进行匹配,并只保留与一个两视图几何模型一致的匹配,这个模型可以是本质矩阵、基础矩阵或单应矩阵,用 RANSAC 估计。它从一对精心选择的图像开始初始化,然后反复执行以下步骤:通过针对已三角化的点求解 n 点透视问题来注册一张新图像,三角化新的点,并运行光束法平差来联合细化位姿、内参和点。全局 SfM 方法则从成对关系出发一次性估计所有相机的旋转和平移,然后再加以细化;这在大型图像集上更快,但对错误匹配更敏感。
SfM 和视觉 SLAM 解决的是密切相关的问题,使用相同的基本组件,但 SfM 通常是离线、批处理的:图像可以是无序的,可以由不同的相机拍摄,处理也没有时间限制,因此可以进行穷举匹配和反复的全局优化。SLAM 则必须在一个顺序数据流上以增量方式实时运行。光束法平差是 SfM 内部的优化步骤,而不是整个流程。SfM 难以处理无纹理表面、重复图案、反光或运动的物体以及运动模糊,这些都会破坏特征匹配。它求得的位姿是稠密多视图立体、神经辐射场和高斯泼溅的标准起点。
为何重要
机器人团队正是借助 SfM,把照片或视频转换成经过标定的相机位姿和真实场所的 3D 模型。这些位姿是摄影测量、NeRF 和高斯泼溅重建的输入,也是许多在仿真中重建真实场景的仿真到现实流程的输入。了解它的假设,就能解释大多数重建失败。
主要应用
- 为神经辐射场和高斯泼溅恢复相机位姿
- 物体和场地的摄影测量与 3D 扫描
- 把真实场景重建为仿真环境
- 用无人机进行航测制图和巡检
- 构建供机器人日后在其中定位的视觉地图
- 为评估视觉里程计和 SLAM 提供参考轨迹
实际应用
为了构建一个真实房间的仿真来训练移动机器人,一位工程师录制了一段缓慢走过房间的视频,从中抽取几百帧清晰的画面,并用单一的共享相机模型运行 COLMAP,因为所有帧都由同一台相机拍摄。他们检查结果中注册失败的图像(往往是对着空白墙面的帧),以及出现重影或弯折的重建,这表明相同的柜门等重复特征被匹配到了错误的位置。为了确定尺度,他们在房间里放置几个已知尺寸的基准标记,或者测量一段距离并据此缩放模型。随后,恢复出的位姿和内参被输入神经辐射场或高斯泼溅重建,用来为机器人的训练渲染相机视图。
常见误解
- SfM 给出的是度量尺度的 3D 模型 — 单目 SfM 恢复的几何只能确定到尺度;度量尺度需要外部参考
- SfM 和 SLAM 是同一回事 — 两者共享组件,但 SfM 通常离线处理无序图像,而 SLAM 以增量方式实时运行
- SfM 等同于光束法平差 — 光束法平差是细化步骤;SfM 还包括特征匹配、几何验证、初始化、注册和三角化
- SfM 生成稠密模型 — 标准输出是由匹配特征构成的稀疏点云;稠密表面要在之后通过多视图立体或神经重建得到
谁需要了解
- 感知与建图工程师
- 构建 NeRF 或高斯泼溅场景的研究人员
- 无人机测绘与巡检团队
- 重建真实环境的仿真到现实工程师
相关技术
- COLMAP
- SIFT 特征(SIFT Features)
- 多视图立体(Multi-View Stereo)
- OpenMVG
- 摄影测量(Photogrammetry)
- 本质矩阵(Essential Matrix)
相关术语
相关项目
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)
视频
- Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
- Structure from Motion Octocopter - Computerphile: Computerphile