Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

RoboCap-10k

일인칭 시점 유급 작업 10,000시간, 미터 단위 3D 머리·손 자세 포함

라이선스

CC BY 4.0

데이터: CC BY 4.0, 데이터셋 카드의 라이선스 항목, Hugging Face 라이선스 태그, 기술 보고서 기준이며, 카드는 논문을 인용해 출처를 밝히면 상업적 이용을 포함한 모든 목적에 쓸 수 있다고 밝힘. 접근: 제한됨. Grounded SI가 신청마다 승인하며, 신청 양식은 데이터셋 속 누구도 재식별하려 하지 않겠다는 동의를 요구함. 영상 속 사람: 카드는 작업자가 사전 동의서에 서명했고 얼굴이 흐리게 처리되었다고 하지만, CC BY 4.0은 프라이버시권이나 초상권을 허락하지 않으며, 기술 보고서는 현지 노동법과 개인정보 보호법 준수를 각국 협력사에 맡김. 관련 데이터셋: BitRobot의 RoboCap-LiDAR-100은 CC BY-NC 4.0으로 비상업적 이용만 가능하고, RoboCap-IKEA-500과 RoboCap-Origami-500은 CC BY 4.0임. 카드 이미지: Grounded SI가 직접 만든 데이터셋 에피소드 미리보기에서 가져온 프레임이며, 출처는 Grounded Superintelligence. 2026-11-12에 데이터셋 카드, 기술 보고서, BitRobot 데이터셋 카드로 확인함.

개요

RoboCap-10k는 Grounded Superintelligence의 일인칭 시점 데이터셋으로, 사람들이 실제 유급 업무를 하는 모습을 선별한 10,000시간 분량이며, 카메라 모자로 촬영하고 머리와 양손의 미터 단위 3D 움직임을 라벨링했습니다. 21개 업종, 365가지 작업장 유형, 619개 작업에 걸친 1,363,915개 에피소드를 담고 있으며 11개국에서 녹화되었습니다. 빵 생산과 의류 봉제부터 엔진 수리, 회로 기판 납땜, 철근 결속까지 포함됩니다. 모든 시간은 같은 장치인 RoboCap으로 녹화되었습니다. 무게 250 g의 모자로, 동기화된 글로벌 셔터 카메라 여섯 대와 IMU 두 개를 갖추었고, 같은 3D 파이프라인으로 처리되었습니다. 각 프레임에는 중력 방향에 맞춘 6-DoF 머리 자세와 월드 좌표계의 MANO 손 파라미터 및 손당 21개 키포인트가 있고, 각 에피소드에는 짧은 작업 캡션과 시간이 표시된 하위 작업 캡션이 있습니다. 데이터는 LeRobot 형식과 Rerun 기록으로 제공되며, 카메라 원본 스트림과 함께 CC BY 4.0으로 공개됩니다. 2026년 11월 7일 Hugging Face에 공개되었으며, 접근은 신청 후 승인을 받아야 합니다.

RoboCap-10k는 로봇 정책과 월드 모델을 학습시키기 위해 실제 직업 작업을 일인칭 시점으로 기록한 데이터셋으로, Grounded Superintelligence가 Hugging Face에 CC BY 4.0으로 공개했습니다. 작업자들은 6~12시간의 평소 유급 근무 중에 카메라 모자를 썼고, 카메라를 위해 대본을 짜거나 연출한 것은 없습니다. 선별된 공개본은 10,000시간, 1,363,915개 에피소드이며, 각 에피소드는 10~600초, 중앙값은 17.8초입니다. 21개 업종, 365가지 작업장 유형, 619개 작업을 다루며, 인도, 나이지리아, 콜롬비아, 미국, 영국, 멕시코, 칠레, 말레이시아, 필리핀, 인도네시아, 스페인의 11개국에서 녹화되었습니다. 작업은 난이도별로 쉬움 170개, 보통 277개, 어려움 172개로 분류되며, 어려운 작업은 회로 기판에 부품 납땜하기, 철근 케이지 결속, 공업용 봉제 같은 숙련 작업입니다.

모든 데이터는 한 가지 장치 모델인 RoboCap으로 녹화되었습니다. 무게 250 g의 모자로, 하나의 하드웨어 트리거로 동시에 촬영하는 1080p, 30 Hz 글로벌 셔터 카메라 여섯 대와 200 Hz IMU 두 개를 갖추었습니다. 어안 스테레오 카메라 두 쌍이 손이 닿는 범위 전체에서 손을 미터 단위 스테레오 시야 안에 두고, 측면 광각 카메라 두 대가 그 시야를 벗어나는 동작을 잡아냅니다. Grounded SI는 녹화 세션마다 영상 자체로 카메라를 다시 보정하며, 공개된 모든 장치의 평균 에피폴라 오차가 1 px 미만이라고 밝힙니다. 머리 궤적은 오프라인 번들 조정을 거친 다중 카메라 시각-관성 SLAM에서, 손은 모든 카메라에 걸쳐 하나의 MANO 손 모델을 맞추는 다중 시점 추적기에서 얻습니다. 모션 캡처와 비교해 Grounded SI는 머리 궤적 오차 중앙값 3.0 mm, 손 오차 4.5 mm PA-MPJPE를 보고하며, 이는 회사 자체의 측정으로 기술 보고서에 설명되어 있습니다.

언어 라벨은 두 단계입니다. 구간마다 간단한 캡션 하나가 있고, 그 안에 연속된 상세 하위 작업 캡션이 있습니다. 상세 캡션은 전면 카메라 두 대의 영상으로 Gemini 3.8 Flash가 생성하며, 사람이 1,000시간 분량, 즉 전체 코퍼스의 10%에 대해 영상과 대조해 캡션을 검토했습니다.

각 에피소드는 두 가지 형태로 제공됩니다. LeRobot 형식은 학습용으로, 카메라마다 H.265 MP4 파일 하나와, 머리 자세, 손 자세, IMU 측정값을 프레임 단위로 색인한 Parquet 테이블이 있습니다. Rerun 기록은 여섯 개의 스트림, 머리 궤적, 손 메시를 하나의 3D 월드 좌표계에 보여 줍니다. 각 에피소드에는 보정값과 분류 라벨, 캡션, 품질 통계를 담은 JSON 파일도 있으며, 라벨을 검증하고 다시 생성할 수 있도록 원본 스트림도 공개됩니다. 영상은 모두 약 108 TB로, LeRobot이 스트리밍으로 읽을 수 있는 Hugging Face 스토리지 버킷에 있습니다. 접근하려면 데이터셋 페이지에서 신청해야 하며, Grounded SI는 영업일 기준 2~3일 안에 검토한다고 밝힙니다. 계정이 없어도 누구나 데이터셋 미리보기 사이트에서 1,794개 에피소드를 캡션, 국가, 작업 구역과 함께 둘러보고 Rerun 뷰어에서 재생할 수 있습니다.

개인정보와 관련해 데이터셋 카드는 모든 작업자가 사전 동의서에 서명했고, 모든 협력 기업이 데이터 계약을 맺었으며, 착용자는 임금과 별도로 보수를 받는다고 밝힙니다. 오디오는 녹음되지 않았고, 얼굴은 Grounded SI 자체 검출기로 영구적으로 흐리게 처리되며, 메타데이터에는 국가와 작업장 유형만 표시됩니다. 발표 글은 BitRobot을 공동 저자로 밝히고 있으며, BitRobot도 RoboCap-IKEA-500과 RoboCap-Origami-500 같은 자체적인 소규모 RoboCap 녹화 데이터를 공개했습니다.

중요한 이유

로봇은 시연을 통해 손 기술을 배우지만, 원격 조작으로 얻는 시연은 적고 비용이 많이 듭니다. 사람이 일하는 영상은 많지만, 로봇은 픽셀이 아니라 자세를 따라 합니다. 영상은 모든 프레임에서 머리와 손의 위치가 미터 단위로 구해져야 학습 데이터가 됩니다. RoboCap-10k는 보정된 단일 장치로 녹화한 10,000시간의 실제 작업에 대해 이를 제공하고, 라벨을 다시 만들 수 있도록 원본 스트림을 남기며, 상업적 이용을 허용하는 라이선스로 공개합니다. 이 카탈로그에서 가장 큰 일인칭 시점 데이터셋으로, 가사를 기록한 Eidon Tracker POV, 머리·손 장비로 로봇 없이 양손 작업을 기록한 HiFi-UMI-2K와 나란히 놓이며, RoboCap-10k는 숙련 직종의 작업을 기록합니다. VLA와 월드 모델 사전 학습, 모방 학습, 사람 손에서 로봇 손으로의 모션 리타기팅에 쓸 수 있는 자료이며, LeRobot 형식으로 제공되고 확인용 Rerun 기록도 있습니다. MINT 같은 도구는 일반 영상에서 손 움직임을 추정하지만, 이 데이터셋은 보정된 스테레오로 측정한 값을 이미 담고 있습니다.

해결하는 문제

일인칭 시점 영상은 조작 데이터를 가장 쉽게 확장할 수 있는 원천이지만, 대형 코퍼스 대부분은 미터 단위 3D 라벨이 없거나, 서로 다른 장치를 많이 섞었거나, 소수의 참가자가 연출된 작업을 하는 실험실에서 녹화되었습니다. RoboCap-10k는 보정된 단일 장치 모델로 녹화한 연출 없는 직업 작업 10,000시간을 제공하며, 모든 에피소드에 미터 단위 머리 자세, 3D 손 자세, 두 단계 캡션이 있고, 로봇 학습 도구가 이미 읽는 형식과 상업적 이용을 허용하는 라이선스로 공개됩니다.

핵심 요점

  • 실제 유급 작업을 선별한 10,000시간, 1,363,915개 에피소드로, 11개국의 21개 업종, 365가지 작업장 유형, 619개 작업을 포함
  • 모두 한 가지 장치 모델인 RoboCap 모자로 녹화: 동기화된 글로벌 셔터 카메라 여섯 대와 IMU 두 개
  • 모든 프레임에 중력 방향에 맞춘 미터 단위 6-DoF 머리 자세와 손당 21개 키포인트의 MANO 손 자세
  • 간단한 작업 캡션과 시간이 표시된 상세 하위 작업 캡션, 전체 시간의 10%는 사람이 검토
  • 학습용 LeRobot 형식과 확인용 Rerun 기록, 원본 스트림과 세션별 보정값 포함
  • CC BY 4.0으로 상업적 이용 가능, 접근은 신청 후 승인, 영상은 모두 약 108 TB

대상

  • 사람의 시연 데이터로 VLA, 월드 모델, 로봇 파운데이션 모델을 사전 학습하는 연구자
  • 정교한 조작을 위해 사람 손의 움직임을 로봇 손으로 옮기는 팀
  • 일인칭 시점 영상, SLAM, 손 자세 추정, 행동 분할을 연구하는 컴퓨터 비전 연구자
  • 도구가 이미 읽는 형식으로 대규모 사람 데이터를 찾는 LeRobot 사용자

한계

  • 로봇 행동이 아니라 사람의 시연이므로 로봇 학습에 쓰려면 리타기팅이 필요하고, 사람의 팔은 로봇 암과 다름
  • 모든 3D 라벨은 모델 출력이며 정답값이 아니고, 손 오차는 단단히 쥘 때 손가락이 가려지는 부분에 몰림
  • 정확도 수치는 Grounded SI가 자체 벤치마크로 측정해 자체 기술 보고서에 발표한 것
  • 상세 캡션은 Gemini 3.8 Flash가 생성했으며, 사람이 검토한 것은 전체 시간의 10%뿐임
  • 수집이 소수 국가에 몰려 있고, 업종 대부분은 인도에서 나왔으며, 가사와 한 손 작업은 적음
  • 촉각이나 힘 센서가 없어 접촉은 영상만으로 추론해야 함
  • 접근이 제한됨: 승인된 신청이 필요하고 전체 영상이 약 108 TB이므로 대부분의 사용자는 스트리밍하거나 일부만 내려받게 됨
  • 얼굴은 단일 프레임 재현율 77.3%의 검출기로 흐리게 처리되고 프레임 간 추적으로 보완되지만, 카드는 모든 얼굴을 잡아낸다고 주장하지 않음
  • CC BY 4.0은 출처 표시를 요구하지만, 영상 속 작업자와 주변 사람의 프라이버시권이나 초상권을 허락하지 않음

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.