Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Optical motion capture

  • 다른 이름: mocap, marker-based motion capture, optical tracking
  • 카테고리: Sensing › Exteroceptive
  • 태그: motion-capture, ground-truth, pose-estimation, cameras, human-motion

캘리브레이션되고 동기화된 여러 카메라에 찍힌 마커 이미지를 삼각측량하여 마커의 3D 위치를 측정하고, 이로부터 강체나 인간 골격의 자세를 구하는 것.

정의

광학식 모션 캡처(optical motion capture)는 캡처 공간 주위에 배치한, 캘리브레이션되고 동기화된 여러 대의 카메라로 마커를 관측하여 운동을 측정한다. 가장 흔한 마커 기반 방식에서는 카메라가 렌즈 둘레의 링에서 적외선을 내보내고, 수동형 재귀반사 마커를 밝은 점으로 본다. 일부 시스템은 대신 능동형 LED 마커를 쓴다. 각 카메라는 자신이 보는 마커들의 2D 중심점을 보고하고, 시스템은 최소 두 대의 카메라가 본 모든 마커를 삼각측량해 3D 위치를 구한다. 강체에 부착한 세 개 이상의 마커 묶음은 전체 6-DoF 자세를 추적하는 강체를 정의하며, 사람에게 붙인 마커 세트는 골격 모델에 맞춰 관절 각도를 복원한다.

결과의 품질은 캘리브레이션과 설치에 달려 있다. 카메라 내부 및 외부 파라미터는 형상을 아는 캘리브레이션 완드를 캡처 공간 안에서 흔들고 지면 평면을 설정해 추정하며, 그 후 잘 캘리브레이션된 시스템은 보통 높은 프레임률에서 밀리미터 수준의 위치 정확도에 이른다. 오차는 너무 적은 카메라만 마커를 보는 가림, 시스템이 가까운 두 마커를 뒤바꾸는 레이블링 오류, 떠도는 반사광, 그리고 사람의 경우 피부에 붙인 마커가 그 아래 뼈에 대해 움직이는 연부 조직 아티팩트에서 생긴다. 데이터를 오프라인으로 기록하지 않고 피드백에 쓸 때는 지연 시간과 클록 동기화가 중요하다. Vicon, OptiTrack, Qualisys가 상용 시스템의 예다.

마커 기반 광학식 모션 캡처는 컴퓨터 비전으로 일반 비디오에서 사람이나 물체의 자세를 추정하는 마커리스 캡처와도 다르고, 몸에 착용한 IMU를 사용하며 카메라가 필요 없는 관성식 모션 캡처와도 다르다. 광학식 시스템은 정확도의 일반적인 기준이지만, 장비를 갖춘 공간에 국한되고, 추적하는 모든 물체에 마커가 필요하며, 비용이 많이 든다. 그래서 착용형이나 마커리스 대안에 관한 연구는 흔히 광학식 캡처를 평가 기준이 되는 실측값으로 사용한다.

중요한 이유

로보틱스 연구실에서 광학식 모션 캡처는 주행거리계, SLAM, 상태 추정기를 평가하는 기준이 되는 실측 자세, 드론과 소형 로봇을 위한 외부 자세 피드백, 그리고 리타기팅, 원격 조작, 시연 학습 데이터셋의 바탕이 되는 인간 운동 데이터를 제공한다.

주요 응용

  • 주행거리계, SLAM, 상태 추정 평가를 위한 실측값
  • 실내 드론과 소형 이동 로봇을 위한 외부 자세 피드백
  • 리타기팅과 모방 학습을 위한 인간 운동 데이터셋
  • 로봇 제어를 위한 원격 조작과 인간 자세 추적
  • 외골격과 의지를 위한 생체역학 및 보행 분석

실제 사례

실내에서 소형 쿼드로터를 비행시키는 연구실이 그물로 둘러싼 비행 구역 주위에 적외선 카메라를 링 형태로 설치하고 완드로 캘리브레이션한다. 각 드론에는 비대칭 패턴으로 재귀반사 마커 네 개를 고정하고, 각 패턴을 강체로 등록한다. 모션 캡처 소프트웨어가 네트워크로 자세를 스트리밍하며, 팀은 그 자세를 비행 제어기에 넣기 전에 강체 좌표계를 드론의 몸체 좌표계와 정렬하고 종단 간 지연 시간을 측정한다. 시각 관성 주행거리계 시스템을 평가할 때는 같은 비행을 기록하고, 오차를 계산하기 전에 추정 궤적과 모션 캡처 궤적을 시간과 공간에서 정렬한다.

흔한 오해

  • 모션 캡처 데이터는 완벽한 실측값이다 — 캘리브레이션 오차, 가림으로 인한 공백, 마커 뒤바뀜, 지연 시간이 있으며, 기준으로 쓰기 전에 이를 확인해야 한다
  • 마커가 로봇이나 뼈의 자세를 직접 알려 준다 — 마커는 마커 패턴의 자세를 알려 줄 뿐이며, 몸체 좌표계나 그 아래 뼈까지의 오프셋은 캘리브레이션해야 한다
  • 광학식 모션 캡처와 마커리스 모션 캡처는 같은 것이다 — 마커 기반 시스템은 전용 카메라로 물리적 마커를 추적하는 반면, 마커리스 시스템은 일반 이미지에서 자세를 추정하며 보통 정확도가 더 낮다

알아야 할 사람

  • 실측값이 필요한 상태 추정 및 SLAM 연구자
  • 장비를 갖춘 실험실에서 비행하는 항공 로보틱스 엔지니어
  • 원격 조작이나 모방 학습을 위해 인간 운동을 수집하는 연구자
  • 생체역학 및 착용형 로보틱스 엔지니어

관련 기술

  • 재귀반사 마커(Retroreflective Markers)
  • 적외선 카메라 어레이(Infrared Camera Arrays)
  • 다중 시점 삼각측량(Multi-View Triangulation)
  • 마커리스 자세 추정(Markerless Pose Estimation)
  • 관성식 모션 캡처(Inertial Motion Capture)

관련 용어

  • Extrinsic Calibration
  • Camera Intrinsics
  • Motion Retargeting
  • IMU
  • Teleoperation

관련 프로젝트

  • AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
  • PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
  • Intrinsic Core: Intrinsic's open industrial robot stack: real-time control, planning and perception
  • MINT: Turns ordinary egocentric video into world-space hand and camera motion
  • Hand Tracking Streamer: Meta Quest app that streams live hand tracking data for robot teleoperation
  • Eidon Tracker POV: 1,274 hours of egocentric household video with seven-point arm IMU tracking

동영상

  • The insane software behind optical motion capture.: Made By Dennis

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.