Optical motion capture
- Aussi appelé: mocap, marker-based motion capture, optical tracking
- Catégorie: Sensing › Exteroceptive
- Mots-clés: motion-capture, ground-truth, pose-estimation, cameras, human-motion
Mesure des positions 3D de marqueurs, et à partir d'elles de la pose de corps rigides ou de squelettes humains, par triangulation de leurs images dans plusieurs caméras étalonnées et synchronisées.
Définition
La capture de mouvement optique (optical motion capture) mesure le mouvement en observant des marqueurs avec plusieurs caméras étalonnées et synchronisées placées autour d'un volume de capture. Dans la forme la plus courante, à marqueurs, les caméras émettent de la lumière infrarouge depuis des anneaux disposés autour de leurs objectifs et voient des marqueurs rétroréfléchissants passifs comme des points lumineux ; certains systèmes utilisent plutôt des marqueurs LED actifs. Chaque caméra transmet les centroïdes 2D des marqueurs qu'elle voit, et le système triangule chaque marqueur vu par au moins deux caméras pour obtenir une position 3D. Des groupes d'au moins trois marqueurs fixés sur un objet rigide définissent un corps rigide dont la pose complète à 6-DoF est suivie, et les jeux de marqueurs placés sur une personne sont ajustés à un modèle de squelette pour retrouver les angles articulaires.
La qualité du résultat dépend de l'étalonnage et de l'installation. Les paramètres intrinsèques et extrinsèques des caméras sont estimés en agitant dans le volume une baguette d'étalonnage de géométrie connue et en définissant un plan de sol, après quoi un système bien étalonné atteint généralement une précision de position de l'ordre du millimètre à des fréquences d'image élevées. Les erreurs proviennent de l'occultation, lorsque trop peu de caméras voient un marqueur ; des erreurs d'étiquetage, lorsque le système intervertit deux marqueurs proches ; des reflets parasites ; et, pour les personnes, de l'artefact des tissus mous, où des marqueurs fixés sur la peau bougent par rapport aux os sous-jacents. La latence et la synchronisation des horloges comptent lorsque les données servent à une rétroaction plutôt qu'à un enregistrement hors ligne. Vicon, OptiTrack et Qualisys sont des exemples de systèmes commerciaux.
La capture de mouvement optique à marqueurs se distingue de la capture sans marqueurs, qui estime la pose d'humains ou d'objets à partir de vidéo ordinaire par vision par ordinateur, et de la capture de mouvement inertielle, qui utilise des IMU portées sur le corps et ne nécessite aucune caméra. Les systèmes optiques sont la référence habituelle en matière de précision, mais ils sont confinés à un espace instrumenté, exigent des marqueurs sur chaque objet suivi et sont coûteux, c'est pourquoi les travaux sur des alternatives portables ou sans marqueurs utilisent souvent la capture optique comme vérité terrain pour l'évaluation.
Pourquoi c'est important
Dans les laboratoires de robotique, la capture de mouvement optique fournit la pose de vérité terrain à l'aune de laquelle on juge l'odométrie, le SLAM et les estimateurs d'état, une rétroaction de pose externe pour les drones et les petits robots, ainsi que les données de mouvement humain à la base des jeux de données de reciblage, de téléopération et d'apprentissage par démonstration.
Applications principales
- Vérité terrain pour évaluer l'odométrie, le SLAM et l'estimation d'état
- Rétroaction de pose externe pour les drones d'intérieur et les petits robots mobiles
- Jeux de données de mouvement humain pour le reciblage et l'apprentissage par imitation
- Téléopération et suivi de la pose humaine pour la commande de robots
- Biomécanique et analyse de la marche pour les exosquelettes et les prothèses
En pratique
Un laboratoire qui fait voler de petits quadrirotors en intérieur installe un anneau de caméras infrarouges autour d'une zone de vol entourée de filets et les étalonne avec une baguette. Quatre marqueurs rétroréfléchissants disposés selon un motif asymétrique sont fixés sur chaque drone, et chaque motif est enregistré comme corps rigide. Le logiciel de capture de mouvement diffuse les poses sur le réseau, et l'équipe aligne le repère du corps rigide sur le repère du corps du drone et mesure la latence de bout en bout avant de transmettre les poses au contrôleur de vol. Pour évaluer un système d'odométrie visuelle-inertielle, elle enregistre les mêmes vols et aligne dans le temps et dans l'espace les trajectoires estimées et celles de la capture de mouvement avant de calculer l'erreur.
Idées reçues
- Les données de capture de mouvement sont une vérité terrain parfaite — elles comportent des erreurs d'étalonnage, des lacunes dues aux occultations, des interversions de marqueurs et de la latence, qu'il faut vérifier avant de les utiliser comme référence
- Les marqueurs donnent directement la pose du robot ou de l'os — ils donnent la pose du motif de marqueurs, et le décalage vers le repère du corps ou l'os sous-jacent doit être étalonné
- La capture de mouvement optique et la capture sans marqueurs sont la même chose — les systèmes à marqueurs suivent des marqueurs physiques avec des caméras dédiées, tandis que les systèmes sans marqueurs estiment la pose à partir d'images ordinaires et sont généralement moins précis
Qui devrait le savoir
- Chercheurs en estimation d'état et en SLAM qui ont besoin d'une vérité terrain
- Ingénieurs en robotique aérienne qui volent dans des laboratoires instrumentés
- Chercheurs qui collectent des mouvements humains pour la téléopération ou l'apprentissage par imitation
- Ingénieurs en biomécanique et en robotique portable
Technologies associées
- Marqueurs rétroréfléchissants (Retroreflective Markers)
- Réseaux de caméras infrarouges (Infrared Camera Arrays)
- Triangulation multivue (Multi-View Triangulation)
- Estimation de pose sans marqueurs (Markerless Pose Estimation)
- Capture de mouvement inertielle (Inertial Motion Capture)
Termes associés
Projets associés
- AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
- PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
- Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
- MINT: Turns ordinary egocentric video into world-space hand and camera motion
- Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
- Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking
Vidéos
- The insane software behind optical motion capture.: Made By Dennis