Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Optical motion capture

  • Detto anche: mocap, marker-based motion capture, optical tracking
  • Categoria: Sensing › Exteroceptive
  • Tag: motion-capture, ground-truth, pose-estimation, cameras, human-motion

Misurare le posizioni 3D di marker, e da esse la posa di corpi rigidi o di scheletri umani, triangolandone le immagini in più telecamere calibrate e sincronizzate.

Definizione

La cattura ottica del movimento (optical motion capture) misura il movimento osservando dei marker con più telecamere calibrate e sincronizzate, disposte attorno a un volume di cattura. Nella forma più comune, basata su marker, le telecamere emettono luce infrarossa da anelli attorno agli obiettivi e vedono i marker passivi retroriflettenti come punti luminosi; alcuni sistemi usano invece marker LED attivi. Ogni telecamera riporta i centroidi 2D dei marker che vede, e il sistema triangola in una posizione 3D ogni marker visto da almeno due telecamere. Gruppi di tre o più marker fissati a un oggetto rigido definiscono un corpo rigido di cui si traccia la posa completa a 6-DoF, e gli insiemi di marker posti su una persona vengono adattati a un modello di scheletro per ricavare gli angoli articolari.

La qualità del risultato dipende dalla calibrazione e dall'allestimento. I parametri intrinseci ed estrinseci delle telecamere si stimano muovendo nel volume una bacchetta di calibrazione di geometria nota e fissando un piano del pavimento, dopodiché un sistema ben calibrato raggiunge tipicamente un'accuratezza di posizione dell'ordine del millimetro ad alte frequenze di acquisizione. Gli errori derivano dall'occlusione, quando troppe poche telecamere vedono un marker; dagli errori di etichettatura, quando il sistema scambia due marker vicini; dai riflessi spuri; e, per le persone, dall'artefatto dei tessuti molli, per cui i marker applicati sulla pelle si muovono rispetto alle ossa sottostanti. La latenza e la sincronizzazione degli orologi contano quando i dati sono usati per la retroazione anziché registrati per un uso offline. Vicon, OptiTrack e Qualisys sono esempi di sistemi commerciali.

La cattura ottica del movimento basata su marker si distingue dalla cattura senza marker, che stima la posa di persone o oggetti da normali video con la visione artificiale, e dalla cattura inerziale del movimento, che usa IMU indossate sul corpo e non richiede telecamere. I sistemi ottici sono il riferimento abituale per l'accuratezza, ma sono confinati in uno spazio strumentato, richiedono marker su ogni oggetto tracciato e sono costosi, ed è per questo che i lavori su alternative indossabili o senza marker usano spesso la cattura ottica come ground truth con cui confrontarsi.

Perché è importante

Nei laboratori di robotica, la cattura ottica del movimento fornisce la posa di ground truth rispetto alla quale si valutano odometria, SLAM e stimatori di stato, la retroazione esterna di posa per droni e piccoli robot, e i dati di movimento umano alla base dei dataset di retargeting, teleoperazione e apprendimento da dimostrazioni.

Applicazioni principali

  • Ground truth per valutare odometria, SLAM e stima dello stato
  • Retroazione esterna di posa per droni da interni e piccoli robot mobili
  • Dataset di movimento umano per retargeting e apprendimento per imitazione
  • Teleoperazione e tracciamento della posa umana per il controllo dei robot
  • Biomeccanica e analisi dell'andatura per esoscheletri e protesi

In pratica

Un laboratorio che fa volare piccoli quadricotteri al chiuso monta un anello di telecamere a infrarossi attorno a un'area di volo protetta da reti e le calibra con una bacchetta. Su ogni drone vengono fissati quattro marker retroriflettenti in uno schema asimmetrico, e ogni schema viene registrato come corpo rigido. Il software di cattura del movimento trasmette le pose in rete, e il gruppo allinea il sistema di riferimento del corpo rigido con quello del corpo del drone e misura la latenza end-to-end prima di inviare le pose al controllore di volo. Quando valuta un sistema di odometria visivo-inerziale, registra gli stessi voli e allinea nel tempo e nello spazio le traiettorie stimate e quelle della cattura del movimento prima di calcolare l'errore.

Idee sbagliate comuni

  • I dati di cattura del movimento sono un ground truth perfetto — hanno errori di calibrazione, lacune da occlusione, scambi di marker e latenza, e vanno verificati prima di usarli come riferimento
  • I marker danno direttamente la posa del robot o dell'osso — danno la posa dello schema di marker, e l'offset rispetto al sistema di riferimento del corpo o all'osso sottostante va calibrato
  • La cattura ottica del movimento e quella senza marker sono la stessa cosa — i sistemi basati su marker tracciano marker fisici con telecamere dedicate, mentre i sistemi senza marker stimano la posa da normali immagini e di solito sono meno accurati

Chi dovrebbe saperlo

  • Ricercatori di stima dello stato e SLAM che hanno bisogno di ground truth
  • Ingegneri di robotica aerea che volano in laboratori strumentati
  • Ricercatori che raccolgono dati di movimento umano per teleoperazione o apprendimento per imitazione
  • Ingegneri di biomeccanica e di robotica indossabile

Tecnologie correlate

  • Marker retroriflettenti (Retroreflective Markers)
  • Schiere di telecamere a infrarossi (Infrared Camera Arrays)
  • Triangolazione multivista (Multi-View Triangulation)
  • Stima della posa senza marker (Markerless Pose Estimation)
  • Cattura inerziale del movimento (Inertial Motion Capture)

Termini correlati

  • Extrinsic Calibration
  • Camera Intrinsics
  • Motion Retargeting
  • IMU
  • Teleoperation

Progetti correlati

  • AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
  • PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
  • Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
  • MINT: Turns ordinary egocentric video into world-space hand and camera motion
  • Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
  • Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking

Video

  • The insane software behind optical motion capture.: Made By Dennis

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.