Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Optical motion capture

  • También llamado: mocap, marker-based motion capture, optical tracking
  • Categoría: Sensing › Exteroceptive
  • Etiquetas: motion-capture, ground-truth, pose-estimation, cameras, human-motion

Medir las posiciones 3D de marcadores y, a partir de ellas, la pose de sólidos rígidos o de esqueletos humanos, triangulando sus imágenes en varias cámaras calibradas y sincronizadas.

Definición

La captura de movimiento óptica (optical motion capture) mide el movimiento observando marcadores con varias cámaras calibradas y sincronizadas, colocadas alrededor de un volumen de captura. En la forma más común, basada en marcadores, las cámaras emiten luz infrarroja desde anillos situados alrededor de sus objetivos y ven los marcadores pasivos retrorreflectantes como puntos brillantes; algunos sistemas usan en su lugar marcadores LED activos. Cada cámara informa de los centroides 2D de los marcadores que ve, y el sistema triangula hasta una posición 3D cada marcador visto por al menos dos cámaras. Los grupos de tres o más marcadores fijados a un objeto rígido definen un sólido rígido cuya pose completa de 6-DoF se sigue, y los conjuntos de marcadores colocados sobre una persona se ajustan a un modelo de esqueleto para recuperar los ángulos articulares.

La calidad del resultado depende de la calibración y de la instalación. Los parámetros intrínsecos y extrínsecos de las cámaras se estiman moviendo por el volumen una varilla de calibración de geometría conocida y fijando un plano del suelo, tras lo cual un sistema bien calibrado alcanza típicamente una precisión de posición del orden del milímetro a altas frecuencias de imagen. Los errores proceden de la oclusión, cuando demasiado pocas cámaras ven un marcador; de los errores de etiquetado, cuando el sistema intercambia dos marcadores cercanos; de los reflejos parásitos; y, en el caso de las personas, del artefacto de tejidos blandos, en el que los marcadores fijados a la piel se mueven respecto a los huesos que hay debajo. La latencia y la sincronización de relojes importan cuando los datos se usan para realimentación en lugar de registrarse para su uso fuera de línea. Vicon, OptiTrack y Qualisys son ejemplos de sistemas comerciales.

La captura de movimiento óptica basada en marcadores se distingue de la captura sin marcadores, que estima la pose humana o de objetos a partir de vídeo normal mediante visión por computador, y de la captura de movimiento inercial, que usa IMU llevadas sobre el cuerpo y no necesita cámaras. Los sistemas ópticos son la referencia habitual de precisión, pero están limitados a un espacio instrumentado, necesitan marcadores en cada objeto seguido y son caros, y por eso los trabajos sobre alternativas ponibles o sin marcadores suelen usar la captura óptica como verdad de referencia con la que compararse.

Por qué importa

En los laboratorios de robótica, la captura de movimiento óptica proporciona la pose de verdad de referencia con la que se juzgan la odometría, el SLAM y los estimadores de estado, la realimentación externa de pose para drones y robots pequeños, y los datos de movimiento humano en los que se basan los conjuntos de datos de retargeting, teleoperación y aprendizaje a partir de demostraciones.

Aplicaciones clave

  • Verdad de referencia para evaluar la odometría, el SLAM y la estimación de estado
  • Realimentación externa de pose para drones de interior y robots móviles pequeños
  • Conjuntos de datos de movimiento humano para retargeting y aprendizaje por imitación
  • Teleoperación y seguimiento de la pose humana para el control de robots
  • Biomecánica y análisis de la marcha para exoesqueletos y prótesis

En la práctica

Un laboratorio que vuela cuadricópteros pequeños en interiores monta un anillo de cámaras infrarrojas alrededor de una zona de vuelo protegida con redes y las calibra con una varilla. En cada dron se fijan cuatro marcadores retrorreflectantes con un patrón asimétrico, y cada patrón se registra como un sólido rígido. El software de captura de movimiento transmite las poses por la red, y el equipo alinea el sistema de referencia del sólido rígido con el sistema de referencia del cuerpo del dron y mide la latencia de extremo a extremo antes de enviar las poses al controlador de vuelo. Al evaluar un sistema de odometría visual-inercial, registra los mismos vuelos y alinea en el tiempo y en el espacio las trayectorias estimadas y las de captura de movimiento antes de calcular el error.

Ideas erróneas comunes

  • Los datos de captura de movimiento son una verdad de referencia perfecta — tienen error de calibración, huecos por oclusión, intercambios de marcadores y latencia, y hay que comprobarlos antes de usarlos como referencia
  • Los marcadores dan directamente la pose del robot o del hueso — dan la pose del patrón de marcadores, y el desplazamiento hasta el sistema de referencia del cuerpo o el hueso subyacente debe calibrarse
  • La captura de movimiento óptica y la captura sin marcadores son lo mismo — los sistemas basados en marcadores siguen marcadores físicos con cámaras dedicadas, mientras que los sistemas sin marcadores estiman la pose a partir de imágenes normales y suelen ser menos precisos

Quién debería saberlo

  • Investigadores en estimación de estado y SLAM que necesitan una verdad de referencia
  • Ingenieros de robótica aérea que vuelan en laboratorios instrumentados
  • Investigadores que recogen movimiento humano para teleoperación o aprendizaje por imitación
  • Ingenieros de biomecánica y de robótica ponible

Tecnologías relacionadas

  • Marcadores retrorreflectantes (Retroreflective Markers)
  • Conjuntos de cámaras infrarrojas (Infrared Camera Arrays)
  • Triangulación multivista (Multi-View Triangulation)
  • Estimación de pose sin marcadores (Markerless Pose Estimation)
  • Captura de movimiento inercial (Inertial Motion Capture)

Términos relacionados

  • Extrinsic Calibration
  • Camera Intrinsics
  • Motion Retargeting
  • IMU
  • Teleoperation

Proyectos relacionados

  • AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
  • PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
  • Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
  • MINT: Turns ordinary egocentric video into world-space hand and camera motion
  • Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
  • Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking

Vídeos

  • The insane software behind optical motion capture.: Made By Dennis

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.