Optical motion capture
- Auch genannt: mocap, marker-based motion capture, optical tracking
- Kategorie: Sensing › Exteroceptive
- Schlagwörter: motion-capture, ground-truth, pose-estimation, cameras, human-motion
Messen der 3D-Positionen von Markern, und daraus der Pose von Starrkörpern oder menschlichen Skeletten, durch Triangulation ihrer Bilder in mehreren kalibrierten, synchronisierten Kameras.
Definition
Optisches Motion Capture (optical motion capture) misst Bewegung, indem es Marker mit mehreren kalibrierten, synchronisierten Kameras beobachtet, die um ein Erfassungsvolumen herum angeordnet sind. In der verbreitetsten markerbasierten Form senden die Kameras Infrarotlicht aus Ringen um ihre Objektive aus und sehen passive retroreflektierende Marker als helle Punkte; manche Systeme verwenden stattdessen aktive LED-Marker. Jede Kamera meldet die 2D-Schwerpunkte der Marker, die sie sieht, und das System trianguliert jeden Marker, der von mindestens zwei Kameras gesehen wird, zu einer 3D-Position. Gruppen von drei oder mehr Markern an einem starren Objekt definieren einen Starrkörper, dessen vollständige 6-DoF-Pose verfolgt wird, und an einer Person angebrachte Markersätze werden an ein Skelettmodell angepasst, um Gelenkwinkel zu bestimmen.
Die Qualität des Ergebnisses hängt von Kalibrierung und Aufbau ab. Intrinsische und extrinsische Kameraparameter werden geschätzt, indem ein Kalibrierstab bekannter Geometrie durch das Volumen geschwenkt und eine Bodenebene festgelegt wird; danach erreicht ein gut kalibriertes System typischerweise eine Positionsgenauigkeit im Millimeterbereich bei hohen Bildraten. Fehler entstehen durch Verdeckung, wenn zu wenige Kameras einen Marker sehen; durch Zuordnungsfehler, wenn das System zwei nahe beieinanderliegende Marker vertauscht; durch Streureflexionen; und bei Menschen durch Weichteilartefakte, bei denen auf der Haut angebrachte Marker sich relativ zu den darunterliegenden Knochen bewegen. Latenz und Uhrensynchronisation sind wichtig, wenn die Daten für eine Rückkopplung verwendet und nicht offline aufgezeichnet werden. Vicon, OptiTrack und Qualisys sind Beispiele für kommerzielle Systeme.
Markerbasiertes optisches Motion Capture unterscheidet sich vom markerlosen Erfassen, das die Pose von Menschen oder Objekten mit Computer Vision aus gewöhnlichem Video schätzt, und vom inertialen Motion Capture, das am Körper getragene IMUs nutzt und keine Kameras braucht. Optische Systeme sind die übliche Referenz für Genauigkeit, sind aber auf einen instrumentierten Raum beschränkt, brauchen Marker an jedem verfolgten Objekt und sind teuer, weshalb Arbeiten zu tragbaren oder markerlosen Alternativen oft optisches Motion Capture als Ground Truth für die Bewertung verwenden.
Warum es wichtig ist
In Robotiklaboren liefert optisches Motion Capture die Ground-Truth-Pose, an der Odometrie, SLAM und Zustandsschätzer gemessen werden, eine externe Posenrückführung für Drohnen und kleine Roboter sowie die menschlichen Bewegungsdaten hinter Datensätzen für Retargeting, Teleoperation und Lernen aus Demonstrationen.
Wichtige Anwendungen
- Ground Truth zur Bewertung von Odometrie, SLAM und Zustandsschätzung
- Externe Posenrückführung für Indoor-Drohnen und kleine mobile Roboter
- Menschliche Bewegungsdatensätze für Retargeting und Imitation Learning
- Teleoperation und Verfolgung menschlicher Posen für die Robotersteuerung
- Biomechanik und Ganganalyse für Exoskelette und Prothesen
In der Praxis
Ein Labor, das kleine Quadrocopter in Innenräumen fliegt, montiert einen Ring von Infrarotkameras um einen mit Netzen umgebenen Flugbereich und kalibriert sie mit einem Stab. An jeder Drohne werden vier retroreflektierende Marker in einem asymmetrischen Muster befestigt, und jedes Muster wird als Starrkörper registriert. Die Motion-Capture-Software streamt Posen über das Netzwerk, und das Team richtet das Starrkörper-Koordinatensystem am Körperkoordinatensystem der Drohne aus und misst die Ende-zu-Ende-Latenz, bevor es die Posen an den Flugregler weitergibt. Bei der Bewertung eines Systems für visuell-inertiale Odometrie zeichnet es dieselben Flüge auf und richtet die geschätzten und die Motion-Capture-Trajektorien zeitlich und räumlich aus, bevor es den Fehler berechnet.
Häufige Missverständnisse
- Motion-Capture-Daten sind perfekte Ground Truth — sie haben Kalibrierfehler, Verdeckungslücken, Markervertauschungen und Latenz, und diese müssen geprüft werden, bevor sie als Referenz dienen
- Marker liefern direkt die Pose des Roboters oder Knochens — sie liefern die Pose des Markermusters, und der Versatz zum Körperkoordinatensystem oder zum darunterliegenden Knochen muss kalibriert werden
- Optisches und markerloses Motion Capture sind dasselbe — markerbasierte Systeme verfolgen physische Marker mit eigens dafür vorgesehenen Kameras, während markerlose Systeme die Pose aus gewöhnlichen Bildern schätzen und meist weniger genau sind
Wer das wissen sollte
- Forschende in Zustandsschätzung und SLAM, die Ground Truth brauchen
- Ingenieure für Flugrobotik, die in instrumentierten Laboren fliegen
- Forschende, die menschliche Bewegungen für Teleoperation oder Imitation Learning erfassen
- Ingenieure für Biomechanik und tragbare Robotik
Verwandte Technologien
- Retroreflektierende Marker (Retroreflective Markers)
- Infrarot-Kamera-Arrays (Infrared Camera Arrays)
- Triangulation aus mehreren Ansichten (Multi-View Triangulation)
- Markerlose Posenschätzung (Markerless Pose Estimation)
- Inertiales Motion Capture (Inertial Motion Capture)
Verwandte Begriffe
Verwandte Projekte
- AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
- PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
- Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
- MINT: Turns ordinary egocentric video into world-space hand and camera motion
- Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
- Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking
Videos
- The insane software behind optical motion capture.: Made By Dennis