Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Optical motion capture

  • Também chamado: mocap, marker-based motion capture, optical tracking
  • Categoria: Sensing › Exteroceptive
  • Tags: motion-capture, ground-truth, pose-estimation, cameras, human-motion

Medir as posições 3D de marcadores e, a partir delas, a pose de corpos rígidos ou de esqueletos humanos, triangulando suas imagens em várias câmeras calibradas e sincronizadas.

Definição

A captura de movimento óptica (optical motion capture) mede o movimento observando marcadores com várias câmeras calibradas e sincronizadas, posicionadas ao redor de um volume de captura. Na forma mais comum, baseada em marcadores, as câmeras emitem luz infravermelha a partir de anéis ao redor de suas lentes e veem marcadores passivos retrorrefletivos como pontos brilhantes; alguns sistemas usam marcadores LED ativos em vez disso. Cada câmera informa os centroides 2D dos marcadores que vê, e o sistema triangula para uma posição 3D cada marcador visto por pelo menos duas câmeras. Grupos de três ou mais marcadores fixados em um objeto rígido definem um corpo rígido cuja pose completa de 6-DoF é rastreada, e conjuntos de marcadores colocados em uma pessoa são ajustados a um modelo de esqueleto para recuperar os ângulos articulares.

A qualidade do resultado depende da calibração e da montagem. Os parâmetros intrínsecos e extrínsecos das câmeras são estimados movendo pelo volume uma haste de calibração de geometria conhecida e definindo um plano do chão, após o que um sistema bem calibrado normalmente atinge precisão de posição na ordem do milímetro em altas taxas de quadros. Os erros vêm da oclusão, quando poucas câmeras veem um marcador; de erros de rotulagem, quando o sistema troca dois marcadores próximos; de reflexos espúrios; e, no caso de pessoas, do artefato de tecido mole, em que marcadores presos à pele se movem em relação aos ossos por baixo. A latência e a sincronização de relógios importam quando os dados são usados para realimentação em vez de gravados para uso offline. Vicon, OptiTrack e Qualisys são exemplos de sistemas comerciais.

A captura de movimento óptica baseada em marcadores se distingue da captura sem marcadores, que estima a pose humana ou de objetos a partir de vídeo comum com visão computacional, e da captura de movimento inercial, que usa IMUs vestidas no corpo e dispensa câmeras. Os sistemas ópticos são a referência usual de precisão, mas ficam restritos a um espaço instrumentado, precisam de marcadores em cada objeto rastreado e são caros, e é por isso que trabalhos com alternativas vestíveis ou sem marcadores costumam usar a captura óptica como verdade de referência para a avaliação.

Por que importa

Nos laboratórios de robótica, a captura de movimento óptica fornece a pose de verdade de referência pela qual odometria, SLAM e estimadores de estado são avaliados, a realimentação externa de pose para drones e pequenos robôs, e os dados de movimento humano por trás de conjuntos de dados de retargeting, teleoperação e aprendizado por demonstração.

Principais aplicações

  • Verdade de referência para avaliar odometria, SLAM e estimação de estado
  • Realimentação externa de pose para drones de ambientes internos e pequenos robôs móveis
  • Conjuntos de dados de movimento humano para retargeting e aprendizado por imitação
  • Teleoperação e rastreamento da pose humana para controle de robôs
  • Biomecânica e análise da marcha para exoesqueletos e próteses

Na prática

Um laboratório que voa pequenos quadricópteros em ambiente interno monta um anel de câmeras infravermelhas ao redor de uma área de voo protegida por redes e as calibra com uma haste. Quatro marcadores retrorrefletivos em um padrão assimétrico são fixados em cada drone, e cada padrão é registrado como um corpo rígido. O software de captura de movimento transmite as poses pela rede, e a equipe alinha o referencial do corpo rígido com o referencial do corpo do drone e mede a latência de ponta a ponta antes de enviar as poses ao controlador de voo. Ao avaliar um sistema de odometria visual-inercial, ela grava os mesmos voos e alinha no tempo e no espaço as trajetórias estimadas e as da captura de movimento antes de calcular o erro.

Equívocos comuns

  • Os dados de captura de movimento são uma verdade de referência perfeita — eles têm erro de calibração, lacunas por oclusão, trocas de marcadores e latência, e isso precisa ser verificado antes de usá-los como referência
  • Os marcadores dão diretamente a pose do robô ou do osso — eles dão a pose do padrão de marcadores, e o deslocamento até o referencial do corpo ou o osso subjacente precisa ser calibrado
  • Captura de movimento óptica e sem marcadores são a mesma coisa — sistemas baseados em marcadores rastreiam marcadores físicos com câmeras dedicadas, enquanto sistemas sem marcadores estimam a pose a partir de imagens comuns e costumam ser menos precisos

Quem deve saber

  • Pesquisadores de estimação de estado e SLAM que precisam de verdade de referência
  • Engenheiros de robótica aérea que voam em laboratórios instrumentados
  • Pesquisadores que coletam movimento humano para teleoperação ou aprendizado por imitação
  • Engenheiros de biomecânica e de robótica vestível

Tecnologias relacionadas

  • Marcadores retrorrefletivos (Retroreflective Markers)
  • Conjuntos de câmeras infravermelhas (Infrared Camera Arrays)
  • Triangulação multivista (Multi-View Triangulation)
  • Estimativa de pose sem marcadores (Markerless Pose Estimation)
  • Captura de movimento inercial (Inertial Motion Capture)

Termos relacionados

  • Extrinsic Calibration
  • Camera Intrinsics
  • Motion Retargeting
  • IMU
  • Teleoperation

Projetos relacionados

  • AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
  • PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
  • Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
  • MINT: Turns ordinary egocentric video into world-space hand and camera motion
  • Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
  • Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking

Vídeos

  • The insane software behind optical motion capture.: Made By Dennis

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.