Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Optical motion capture

  • 又称: mocap, marker-based motion capture, optical tracking
  • 类别: Sensing › Exteroceptive
  • 标签: motion-capture, ground-truth, pose-estimation, cameras, human-motion

通过在多台经过标定、相互同步的相机中对标记点的图像进行三角化,测量标记点的 3D 位置,并由此得到刚体或人体骨骼的位姿。

定义

光学动作捕捉(optical motion capture)用布置在捕捉空间周围的多台经过标定、相互同步的相机观察标记点,以此测量运动。在最常见的基于标记点的形式中,相机从镜头周围的光环发出红外光,把被动式逆反射标记点看成亮点;有些系统则改用主动式 LED 标记点。每台相机报告它所看到的标记点的 2D 质心,系统再把至少被两台相机看到的每个标记点三角化为一个 3D 位置。固定在一个刚性物体上的三个或更多标记点构成一个刚体,其完整的 6-DoF 位姿会被跟踪;贴在人身上的标记点组则被拟合到骨骼模型上,以恢复关节角。

结果的质量取决于标定和布置。相机的内参和外参通过在捕捉空间中挥动一根几何形状已知的标定杆并设定地平面来估计;完成之后,一个标定良好的系统通常能在高帧率下达到毫米级的位置精度。误差来源包括:遮挡,即看到某个标记点的相机太少;标记错误,即系统把两个相邻的标记点弄混;杂散反射;对人体而言,还有软组织伪影,即贴在皮肤上的标记点相对于其下的骨骼发生移动。当数据被用于反馈而不是离线记录时,延迟和时钟同步就很重要。Vicon、OptiTrack 和 Qualisys 是商用系统的例子。

基于标记点的光学动作捕捉不同于无标记捕捉,后者用计算机视觉从普通视频中估计人体或物体的位姿;它也不同于惯性动作捕捉,后者使用穿戴在身上的 IMU,不需要相机。光学系统通常是精度的参照基准,但它们局限于布设了设备的空间,需要在每个被跟踪物体上安装标记点,而且价格昂贵;正因如此,关于可穿戴或无标记替代方案的研究,常常以光学捕捉作为评估所用的真值。

为何重要

在机器人实验室中,光学动作捕捉提供真值位姿,用来评判里程计、SLAM 和状态估计器;它为无人机和小型机器人提供外部位姿反馈;它还提供动作重定向、遥操作和示教学习数据集背后的人体运动数据。

主要应用

  • 为评估里程计、SLAM 和状态估计提供真值
  • 为室内无人机和小型移动机器人提供外部位姿反馈
  • 用于动作重定向和模仿学习的人体运动数据集
  • 用于机器人控制的遥操作和人体姿态跟踪
  • 面向外骨骼和假肢的生物力学与步态分析

实际应用

一个在室内飞行小型四旋翼的实验室,在一个罩着防护网的飞行区域周围安装一圈红外相机,并用标定杆对它们进行标定。每架无人机上都以不对称的图案固定四个逆反射标记点,每个图案都被注册为一个刚体。动作捕捉软件通过网络传输位姿;在把位姿送入飞控之前,团队会把刚体坐标系与无人机的机体坐标系对齐,并测量端到端延迟。在评估一套视觉惯性里程计系统时,他们记录同样的飞行,并在计算误差之前,把估计轨迹与动作捕捉轨迹在时间和空间上对齐。

常见误解

  • 动作捕捉数据是完美的真值 — 它存在标定误差、遮挡造成的缺失、标记点互换和延迟,在用作参照之前需要检查这些问题
  • 标记点直接给出机器人或骨骼的位姿 — 它们给出的是标记点图案的位姿,到本体坐标系或其下骨骼的偏移必须经过标定
  • 光学动作捕捉与无标记动作捕捉是一回事 — 基于标记点的系统用专用相机跟踪实体标记点,而无标记系统从普通图像中估计位姿,精度通常较低

谁需要了解

  • 需要真值的状态估计和 SLAM 研究人员
  • 在布设了设备的实验室中进行飞行的空中机器人工程师
  • 为遥操作或模仿学习采集人体运动数据的研究人员
  • 生物力学和可穿戴机器人工程师

相关技术

  • 逆反射标记点(Retroreflective Markers)
  • 红外相机阵列(Infrared Camera Arrays)
  • 多视图三角化(Multi-View Triangulation)
  • 无标记位姿估计(Markerless Pose Estimation)
  • 惯性动作捕捉(Inertial Motion Capture)

相关术语

  • Extrinsic Calibration
  • Camera Intrinsics
  • Motion Retargeting
  • IMU
  • Teleoperation

相关项目

  • AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
  • PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
  • Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
  • MINT: Turns ordinary egocentric video into world-space hand and camera motion
  • Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
  • Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking

视频

  • The insane software behind optical motion capture.: Made By Dennis

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。