Optical motion capture
- 別名: mocap, marker-based motion capture, optical tracking
- カテゴリ: Sensing › Exteroceptive
- タグ: motion-capture, ground-truth, pose-estimation, cameras, human-motion
キャリブレーション済みで同期した複数のカメラにおけるマーカーの像を三角測量してマーカーの 3D 位置を計測し、そこから剛体や人の骨格の姿勢を求めること。
定義
光学式モーションキャプチャ(optical motion capture)は、キャプチャ空間のまわりに配置した、キャリブレーション済みで同期した複数のカメラでマーカーを観測することにより運動を計測する。最も一般的なマーカー方式では、カメラがレンズのまわりのリングから赤外光を発し、受動的な再帰性反射マーカーを明るい点として捉える。代わりにアクティブな LED マーカーを使うシステムもある。各カメラは見えているマーカーの 2D の重心を報告し、システムは少なくとも 2 台のカメラに見えている各マーカーを三角測量して 3D 位置を求める。剛体の物体に取り付けた 3 個以上のマーカーの組は剛体を定義し、その完全な 6-DoF の姿勢が追跡される。人の体に付けたマーカーセットは骨格モデルに当てはめられ、関節角が復元される。
結果の質はキャリブレーションとセットアップに依存する。カメラの内部パラメータと外部パラメータは、形状が既知のキャリブレーションワンドを空間内で振り、床面を設定することで推定する。その後、よくキャリブレーションされたシステムは、通常、高いフレームレートでミリメートル級の位置精度に達する。誤差の原因には、マーカーを見ているカメラが少なすぎる遮蔽、システムが近くの 2 つのマーカーを入れ替えてしまうラベリングの誤り、迷光の反射、そして人の場合には、皮膚に付けたマーカーがその下の骨に対して動く軟部組織アーチファクトがある。データをオフラインで記録するのではなくフィードバックに使う場合には、遅延とクロック同期が重要になる。Vicon、OptiTrack、Qualisys は商用システムの例である。
マーカー方式の光学式モーションキャプチャは、コンピュータビジョンによって通常の動画から人や物体の姿勢を推定するマーカーレスキャプチャとも、身体に装着した IMU を使いカメラを必要としない慣性式モーションキャプチャとも異なる。光学式システムは精度の基準として通常使われるが、機器を設置した空間に限られ、追跡するすべての物体にマーカーが必要で、高価である。そのため、ウェアラブルやマーカーレスの代替手段の研究では、評価の正解データとして光学式キャプチャを使うことが多い。
重要な理由
ロボティクスの研究室では、光学式モーションキャプチャが、オドメトリ、SLAM、状態推定器を評価するための正解の姿勢、ドローンや小型ロボットのための外部からの姿勢フィードバック、そしてモーションリターゲティング、テレオペレーション、デモンストレーションからの学習のデータセットを支える人の動作データを提供する。
主な用途
- オドメトリ、SLAM、状態推定を評価するための正解データ
- 屋内ドローンや小型移動ロボットへの外部からの姿勢フィードバック
- モーションリターゲティングや模倣学習のための人の動作データセット
- ロボット制御のためのテレオペレーションと人の姿勢追跡
- 外骨格や義肢のためのバイオメカニクスと歩行分析
実際の使われ方
小型のクアッドロータを屋内で飛ばす研究室が、ネットで囲んだ飛行エリアのまわりに赤外線カメラを環状に設置し、ワンドでキャリブレーションする。各ドローンには非対称なパターンで 4 個の再帰性反射マーカーを固定し、各パターンを剛体として登録する。モーションキャプチャのソフトウェアはネットワーク経由で姿勢をストリーミングし、チームはその姿勢をフライトコントローラに送る前に、剛体の座標系をドローンの機体座標系に合わせ、エンドツーエンドの遅延を測定する。視覚慣性オドメトリのシステムを評価するときには、同じ飛行を記録し、誤差を計算する前に、推定した軌道とモーションキャプチャの軌道を時間と空間の両方で位置合わせする。
よくある誤解
- モーションキャプチャのデータは完全な正解である — キャリブレーション誤差、遮蔽による欠落、マーカーの入れ替わり、遅延があり、基準として使う前にこれらを確認する必要がある
- マーカーはロボットや骨の姿勢を直接与える — 与えるのはマーカーパターンの姿勢であり、ボディ座標系やその下の骨までのオフセットはキャリブレーションしなければならない
- 光学式とマーカーレスのモーションキャプチャは同じものである — マーカー方式のシステムは専用のカメラで物理的なマーカーを追跡するのに対し、マーカーレスのシステムは通常の画像から姿勢を推定し、一般に精度が低い
知っておくべき人
- 正解データを必要とする状態推定と SLAM の研究者
- 機器を設置した実験室で飛行させる空中ロボットのエンジニア
- テレオペレーションや模倣学習のために人の動作を収集する研究者
- バイオメカニクスとウェアラブルロボットのエンジニア
関連技術
- 再帰性反射マーカー(Retroreflective Markers)
- 赤外線カメラアレイ(Infrared Camera Arrays)
- 多視点三角測量(Multi-View Triangulation)
- マーカーレス姿勢推定(Markerless Pose Estimation)
- 慣性式モーションキャプチャ(Inertial Motion Capture)
関連用語
関連プロジェクト
- AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
- PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
- Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
- MINT: Turns ordinary egocentric video into world-space hand and camera motion
- Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
- Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking
動画
- The insane software behind optical motion capture.: Made By Dennis