Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Eidon Tracker POV

일곱 지점 팔 IMU 추적이 붙은 1,274시간짜리 1인칭 가사 영상

라이선스

CC-BY-4.0

개요

스물일곱 명의 자원자가 머리에 카메라를 쓰고 일곱 개 IMU 센서 하네스를 착용한 채 자기 집에서 실제 집안일을 했다. 빨래 개기, 청소, 설거지, 요리, 뜨개질. 그 결과가 1,273.8시간에 걸친 13,451건의 기록이고, 각각 1인칭 영상과 양손·양 아래팔·양 위팔·가슴의 24Hz 자세 데이터를 짝지어 담고 있다. 가슴 센서가 기준 좌표계다. 그 역행렬을 팔다리에 합성하면 몸통 기준 팔 자세가 나오고, 착용자가 어느 쪽을 보고 있든 달라지지 않는다. 영상과 IMU는 두 저장소에 나뉘어 recording_id로 결합되며, 세 번째 버킷에 영상만 담긴 306시간이 더 있다. 전부 CC-BY-4.0이다.

AgiBot World, DROID, Open X-Embodiment, ABC-130k 같은 대규모 로봇 학습 데이터셋은 로봇을 기록합니다. 이 데이터셋은 사람이 일상적인 조작을 하는 모습을 본인 시점에서 기록하며, 팔의 자세를 추정하지 않고 직접 측정합니다. 1인칭 영상에서 손 자세를 추정하는 것은 어렵고 노이즈가 많은 문제이지만, 여기서는 몸에 착용한 센서로 얻은 정답 데이터가 팔 자세와 함께 제공됩니다.

데이터셋 카드는 자체 약점을 자세히 문서화합니다. 작업 분포가 심하게 편중되어 있어 빨래 개기가 전체 시간의 67.5%를 차지하고 꼬리 클래스는 각각 3시간 미만이므로, 카드는 이를 균형 잡힌 9개 클래스 활동 데이터셋으로 취급하지 말라고 경고합니다. 기여자는 적고 비중도 고르지 않아 가장 많은 기여자가 전체 시간의 16.1%, 상위 5명이 57.2%를 제공했으므로, 카드는 contributor_id 기준으로 분할하라고 권합니다. 무작위로 분할하면 같은 사람, 집, 카메라 장비가 학습 세트와 테스트 세트 양쪽에 새어 들어가 결과가 부풀려집니다. 인구통계는 공개되어 있으며 대표성이 없다고 설명합니다. 응답자 중 연령 중앙값은 26세이고 17명 중 15명이 남성입니다. 원시 가속도계, 자이로스코프, 자력계 측정값은 2,841건의 녹화에만 있으며, 카드는 필터링에 쓸 정확한 필드를 명시합니다. 품질 관리로 모든 녹화에 MediaPipe 손 검출, HSV 밝기, 라플라시안 블러, 광학 흐름 안정성 검사를 실행했고, 탈락한 472건의 녹화는 부정 예시로 표시해 포함했습니다.

이를 만든 회사 Eidon AI(상호 Solidic Labs Inc)는 사업을 정리했습니다. 회사보다 데이터가 오래 남도록 CC-BY-4.0으로 데이터를 공개했으며, 따라서 이것은 후속 공개를 약속하는 첫 릴리스가 아니라 최종 릴리스입니다.

중요한 이유

대부분의 대규모 로봇 학습 데이터셋은 원격 조작되는 로봇을 기록합니다. 사람 영상으로 학습하는 정책에는 사람 영상이 필요하며, 어려운 점은 늘 팔이 실제로 무엇을 하고 있었는지 아는 것이었습니다. 1인칭 카메라로 자세를 추정하면 손목에서는 신뢰도가 낮고 어깨에서는 더 나쁩니다. 몸에 IMU 7개를 달고 실제 집안일 1,274시간을 기록한 이 데이터셋은 그 문제에 정면으로 답하며, 데이터는 허용적인 라이선스로 공개됩니다.

해결하는 문제

사람 영상에서 조작을 배우려면 팔이 무엇을 하고 있었는지 알아야 하는데, 1인칭 카메라에서 그것을 되살리는 일은 믿을 만하지 못하다. 이 데이터는 그것을 직접 기록했다. 몸에 착용한 센서 일곱 개의 24Hz 자세 데이터를 영상과 나란히, 연출 없는 집안일로 천 시간 넘게, 상업적 사용도 자유롭게.

핵심 요점

  • 녹화 13,451건, 1,273.8시간, 기여자 27명, 1080p~4K MP4 9.05 TB
  • 24 Hz로 기록하는 9축 IMU 7개: 양손, 양쪽 아래팔, 양쪽 위팔, 가슴에 부착하며, 가슴이 몸통 기준 좌표계 역할을 함
  • 영상과 IMU는 별도 저장소로 나뉘어 recording_id로 연결되며, 세 번째 스토리지 버킷에는 기여자 37명의 영상 전용 영상 306시간이 추가로 있음
  • 연출된 시연이 아닌 실제 가정에서의 실제 집안일: 빨래, 청소, 설거지, 요리, 그림 그리기, 뜨개질, 침대 정리, 화분 물 주기
  • 모든 녹화에는 QC 지표와 valid/flagged/invalid 상태가 붙어 있으며, invalid 472건은 부정 예시로 의도적으로 포함됨
  • 데이터셋 카드가 함정을 명시함: 작업 분포의 편중, 무작위 분할 시 기여자 누출, 부족한 인구통계 정보, 그리고 원시 모션 데이터 여부를 실제로 나타내는 메타데이터 필드
  • CC-BY-4.0, 출처 표시 시 상업적 이용 허용, 이를 만든 회사가 문을 닫은 뒤 최종 릴리스로 공개됨

대상

  • 사람 시연 영상으로 조작 정책이나 월드 모델을 학습시키는 사람
  • 1인칭 손·팔 자세 추정을 연구하며 평가에 쓸 정답 데이터가 필요한 연구자
  • 보조 로보틱스를 비롯해 일상생활 동작 인식을 만드는 팀
  • 시각과 착용형 IMU 사이의 센서 융합을 연구하는 사람
  • 직접 수집하지 않고 가사 조작 데이터의 규모를 얻고 싶은 사람

한계

  • 빨래 개기가 전체 시간의 67.5%다. 꼬리 쪽 활동은 각각 세 시간이 안 되어 혼자서 한 분류를 감당하지 못한다
  • 기여자 스물일곱 명 가운데 상위 다섯이 전체 시간의 57.2%를 낸다. contributor_id로 나누지 않으면 평가가 같은 사람과 집과 장비를 양쪽에 흘린다
  • 인구 통계가 성기고 치우쳐 있다. 응답자 기준 나이 중앙값 26세, 17명 중 15명이 남성이다
  • 원시 가속도계·자이로·자력계 데이터는 13,451건 중 2,841건에만 있다. 자세 쿼터니언은 전부에 있지만 원시 스트림은 선택 참여다
  • 영상은 가공되지 않았다. 얼굴 흐림도 영역 가림도 없고 개인 주택 안에서 촬영되었으며, 얼굴과 서류와 화면이 우연히 찍혔을 가능성을 배제할 수 없다고 카드가 명시한다
  • 영상만 9.05TB이므로 가볍게 내려받을 데이터셋이 아니다
  • 카메라와 IMU 사이에 하드웨어 동기화가 없다. 정렬은 타임스탬프로 하며, 저자들이 밝힌 어긋남은 순차 코드 실행에 드는 몇 밀리초다
  • 이것을 만든 조직은 사업을 접었다. 정정도, v2도, 카드에 적힌 삭제 요청 주소 말고는 물어볼 상대도 없다

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.