Optical motion capture
- 又稱: mocap, marker-based motion capture, optical tracking
- 類別: Sensing › Exteroceptive
- 標籤: motion-capture, ground-truth, pose-estimation, cameras, human-motion
藉由在多台經過校正且同步的攝影機中,對標記點的影像進行三角測量,量測標記點的 3D 位置,並由此求得剛體或人體骨架的姿態。
定義
光學動作捕捉(optical motion capture)以布置在擷取空間周圍、經過校正且彼此同步的多台攝影機觀察標記點,藉此量測運動。在最常見的標記式做法中,攝影機從鏡頭周圍的光環發出紅外光,把被動式的回歸反射標記點看成亮點;有些系統則改用主動式 LED 標記點。每台攝影機回報它看到的標記點的 2D 形心,系統再把至少被兩台攝影機看到的每個標記點三角測量成一個 3D 位置。固定在剛性物體上的三個以上標記點定義出一個剛體,其完整的 6-DoF 姿態會被追蹤;貼在人身上的標記點組則擬合到骨架模型上,以求得關節角度。
結果的品質取決於校正與布置。攝影機的內部參數與外部參數,是藉由在擷取空間中揮動一根幾何形狀已知的校正棒並設定地平面來估計;完成後,校正良好的系統通常能在高影格率下達到毫米等級的位置精度。誤差來源包括:遮蔽,也就是看到某個標記點的攝影機太少;標記錯誤,也就是系統把兩個相鄰的標記點對調;雜散反射;而對人體來說,還有軟組織假影,即貼在皮膚上的標記點相對於底下的骨骼移動。當資料用於回饋、而不是離線記錄時,延遲與時脈同步就很重要。Vicon、OptiTrack 與 Qualisys 是商用系統的例子。
標記式光學動作捕捉不同於無標記捕捉,後者以電腦視覺從一般影片中估測人或物體的姿態;它也不同於慣性動作捕捉,後者使用穿戴在身上的 IMU,不需要攝影機。光學系統通常是精度的參考基準,但它們受限於布設了設備的空間,每個被追蹤的物體都需要標記點,而且價格昂貴;這也是為什麼關於穿戴式或無標記替代方案的研究,常以光學捕捉作為評估所用的真值。
為何重要
在機器人實驗室裡,光學動作捕捉提供真值姿態,用來評斷里程計、SLAM 與狀態估測器;它為無人機與小型機器人提供外部姿態回饋;它也提供動作重定向、遠端操作與示範學習資料集背後的人體動作資料。
主要應用
- 作為評估里程計、SLAM 與狀態估測的真值
- 為室內無人機與小型移動機器人提供外部姿態回饋
- 用於動作重定向與模仿學習的人體動作資料集
- 用於機器人控制的遠端操作與人體姿態追蹤
- 針對外骨骼與義肢的生物力學與步態分析
實際應用
一個在室內飛行小型四旋翼機的實驗室,在一個圍著防護網的飛行區域周圍架設一圈紅外線攝影機,並用校正棒加以校正。每架無人機上以不對稱的圖樣固定四個回歸反射標記點,每個圖樣都註冊為一個剛體。動作捕捉軟體透過網路串流傳送姿態;在把姿態送進飛行控制器之前,團隊會把剛體座標系與無人機的機體座標系對齊,並量測端到端延遲。評估一套視覺慣性里程計系統時,他們記錄同樣的飛行,並在計算誤差前,把估測軌跡與動作捕捉軌跡在時間與空間上對齊。
常見誤解
- 動作捕捉資料是完美的真值 — 它有校正誤差、遮蔽造成的缺漏、標記點互換與延遲,在當作參考之前需要先檢查
- 標記點直接給出機器人或骨骼的姿態 — 它們給出的是標記點圖樣的姿態,到本體座標系或底下骨骼的偏移必須經過校正
- 光學動作捕捉與無標記動作捕捉是同一回事 — 標記式系統以專用攝影機追蹤實體標記點,而無標記系統從一般影像估測姿態,精度通常較低
誰需要了解
- 需要真值的狀態估測與 SLAM 研究人員
- 在布設設備的實驗室中飛行的空中機器人工程師
- 為遠端操作或模仿學習蒐集人體動作的研究人員
- 生物力學與穿戴式機器人工程師
相關技術
- 回歸反射標記點(Retroreflective Markers)
- 紅外線攝影機陣列(Infrared Camera Arrays)
- 多視圖三角測量(Multi-View Triangulation)
- 無標記姿態估測(Markerless Pose Estimation)
- 慣性動作捕捉(Inertial Motion Capture)
相關術語
相關專案
- AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
- PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
- Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
- MINT: Turns ordinary egocentric video into world-space hand and camera motion
- Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
- Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking
影片
- The insane software behind optical motion capture.: Made By Dennis