Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Structure from Motion

  • 又稱: SfM
  • 類別: State estimation & navigation › Localisation
  • 標籤: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping

從一組彼此重疊的影像中,恢復相機姿態與場景的稀疏 3D 點雲:在不同視圖之間比對特徵,並以光束法平差精修所有結果。

定義

運動恢復結構(structure from motion,SfM)從一組彼此重疊的照片中,估計場景的 3D 結構與拍攝每張影像時的相機姿態。嚴格來說,除了影像之外不需要其他任何東西,不過已知的相機內部參數會有幫助。輸出是一組相機姿態、通常還有經過精修的內部參數與鏡頭畸變,以及由三角測量的特徵點構成的稀疏點雲。若只用一台移動的相機,重建結果只能確定到一個整體的尺度、旋轉與平移,因此公制尺度必須來自已知的距離、校正靶、GNSS 或其他感測器。

典型的增量式流程,例如 COLMAP(Schönberger 與 Frahm,2016)的實作,會在每張影像中偵測 SIFT 等局部特徵,在影像對之間進行比對,並只保留與某個兩視圖幾何模型一致的比對結果;這個模型可以是本質矩陣、基礎矩陣或單應矩陣,以 RANSAC 估計。它從一對精心挑選的影像開始初始化,接著反覆進行:針對已三角測量的點求解 n 點透視問題來註冊一張新影像、三角測量新的點,並執行光束法平差來共同精修姿態、內部參數與點。全域 SfM 方法則是從成對關係一次估計所有相機的旋轉與平移,再加以精修;這在大型影像集上較快,但對錯誤比對較敏感。

SfM 與視覺 SLAM 解決的是密切相關的問題,使用相同的基本構件,但 SfM 通常是離線、批次處理的:影像可以沒有順序、可以由不同的相機拍攝,處理也沒有時間限制,因此能做窮舉比對與反覆的全域最佳化。SLAM 則必須在循序的資料流上以增量方式即時運行。光束法平差是 SfM 內部的最佳化步驟,而不是整個流程。SfM 難以處理無紋理的表面、重複圖樣、反光或移動的物體,以及動態模糊,這些都會破壞特徵比對。它求得的姿態是稠密多視圖立體、神經輻射場與高斯潑濺的標準起點。

為何重要

機器人團隊正是靠 SfM,把照片或影片轉換成經過校正的相機姿態與真實場所的 3D 模型。這些姿態是攝影測量、NeRF 與高斯潑濺重建的輸入,也是許多在模擬中重建真實場景的模擬到現實流程的輸入。了解它的假設,就能解釋大多數的重建失敗。

主要應用

  • 為神經輻射場與高斯潑濺恢復相機姿態
  • 物體與場地的攝影測量與 3D 掃描
  • 把真實場景重建為模擬環境
  • 以無人機進行空拍測繪與巡檢
  • 建立讓機器人日後在其中定位的視覺地圖
  • 為評估視覺里程計與 SLAM 提供參考軌跡

實際應用

為了建立一個真實房間的模擬來訓練移動機器人,一位工程師錄下一段緩慢走過房間的影片,從中擷取幾百張清晰的影格,並以單一共用的相機模型執行 COLMAP,因為所有影格都是同一台攝影機拍的。他們檢查結果中註冊失敗的影像(通常是對著空白牆面的影格),以及出現重影或彎折的重建,這代表相同的櫃門等重複特徵被比對到了錯誤的位置。為了確定尺度,他們在房間裡放置幾個已知尺寸的基準標記,或量測一段距離後重新縮放模型。接著,恢復出的姿態與內部參數會輸入神經輻射場或高斯潑濺重建,用來為機器人的訓練渲染相機視圖。

常見誤解

  • SfM 能產生公制尺度的 3D 模型 — 單眼 SfM 恢復的幾何只能確定到尺度;公制尺度需要外部參考
  • SfM 與 SLAM 是同一回事 — 兩者共用構件,但 SfM 通常離線處理沒有順序的影像,而 SLAM 以增量方式即時運行
  • SfM 等同於光束法平差 — 光束法平差是精修步驟;SfM 還涵蓋特徵比對、幾何驗證、初始化、註冊與三角測量
  • SfM 會產生稠密模型 — 標準輸出是由比對特徵構成的稀疏點雲;稠密表面要之後再透過多視圖立體或神經重建取得

誰需要了解

  • 感知與建圖工程師
  • 建構 NeRF 或高斯潑濺場景的研究人員
  • 無人機測繪與巡檢團隊
  • 重建真實環境的模擬到現實工程師

相關技術

  • COLMAP
  • SIFT 特徵(SIFT Features)
  • 多視圖立體(Multi-View Stereo)
  • OpenMVG
  • 攝影測量(Photogrammetry)
  • 本質矩陣(Essential Matrix)

相關術語

  • Bundle Adjustment
  • Camera Intrinsics
  • SLAM
  • Neural Radiance Field
  • 3D Gaussian Splatting
  • Perspective-n-Point

相關專案

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
  • OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
  • RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)

影片

  • Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
  • Structure from Motion Octocopter - Computerphile: Computerphile

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。