RoboCap-10k
10.000 horas de trabalho pago em primeira pessoa com pose 3D métrica de cabeça e mãos
Licença
CC BY 4.0
Dados: CC BY 4.0, conforme a seção de licença da ficha do dataset, sua etiqueta de licença no Hugging Face e o relatório técnico; a ficha diz que podem ser usados para qualquer fim, inclusive comercial, dando crédito pela citação do artigo. Acesso: restrito; a Grounded SI aprova cada solicitação, e o formulário pede o compromisso de não tentar reidentificar ninguém no dataset. Pessoas no vídeo: a ficha diz que os trabalhadores assinaram termos de consentimento informado e que os rostos estão desfocados, mas CC BY 4.0 não licencia direitos de privacidade nem de imagem, e o relatório deixa o cumprimento das leis trabalhistas e de privacidade locais com o parceiro de cada país. Datasets relacionados: o RoboCap-LiDAR-100 da BitRobot é CC BY-NC 4.0, só para uso não comercial, enquanto RoboCap-IKEA-500 e RoboCap-Origami-500 são CC BY 4.0. Imagem do card: um quadro da prévia de um episódio do dataset feita pela Grounded SI; crédito à Grounded Superintelligence. Verificado em 2026-11-12 com a ficha do dataset, o relatório técnico e as fichas dos datasets da BitRobot.
Visão geral
RoboCap-10k é um dataset egocêntrico da Grounded Superintelligence: 10.000 horas selecionadas de pessoas fazendo seu trabalho remunerado, filmadas por um boné com câmeras e rotuladas com o movimento 3D métrico da cabeça e das mãos. Ele reúne 1.363.915 episódios de 21 setores, 365 tipos de local de trabalho e 619 tarefas, gravados em 11 países, da produção de pão e costura de roupas ao conserto de motores, à soldagem de placas de circuito e à amarração de vergalhões. Cada hora foi gravada com o mesmo dispositivo, o RoboCap, um boné de 250 g com seis câmeras global shutter sincronizadas e duas IMUs, e processada pelo mesmo pipeline 3D. Cada quadro traz uma pose de cabeça 6-DoF alinhada à gravidade e parâmetros de mão MANO com 21 keypoints por mão no referencial do mundo, e cada episódio tem uma legenda curta da tarefa e legendas temporizadas das subtarefas. Os dados vêm no formato LeRobot e como gravações do Rerun, junto com os fluxos brutos das câmeras, sob CC BY 4.0. Foi publicado no Hugging Face em 7 de novembro de 2026, e o acesso é concedido mediante solicitação.
RoboCap-10k é um dataset em primeira pessoa de trabalho profissional real para treinar políticas de robôs e modelos de mundo, publicado pela Grounded Superintelligence no Hugging Face sob CC BY 4.0. Os trabalhadores usaram um boné com câmeras durante seus turnos remunerados normais de 6 a 12 horas, e nada foi roteirizado ou encenado para a câmera. A versão selecionada reúne 10.000 horas em 1.363.915 episódios de 10 a 600 segundos, com mediana de 17,8 segundos. Ela cobre 21 setores, 365 tipos de local de trabalho e 619 tarefas, gravados em 11 países: Índia, Nigéria, Colômbia, Estados Unidos, Reino Unido, México, Chile, Malásia, Filipinas, Indonésia e Espanha. As tarefas são classificadas por dificuldade, com 170 fáceis, 277 médias e 172 difíceis, sendo as difíceis trabalho especializado como soldar componentes em placas de circuito, amarrar armações de vergalhão ou costura industrial.
Tudo foi gravado com um único modelo de dispositivo, o RoboCap: um boné de 250 g com seis câmeras global shutter a 1080p e 30 Hz, disparadas por um único trigger de hardware, e duas IMUs a 200 Hz. Dois pares estéreo olho de peixe mantêm as mãos numa vista estéreo métrica em todo o alcance, e duas câmeras laterais grande-angulares captam os movimentos que saem dela. A Grounded SI recalibra as câmeras de cada sessão de gravação a partir das próprias imagens e informa que todo dispositivo publicado fica abaixo de 1 px de erro epipolar médio. As trajetórias da cabeça vêm de SLAM visual-inercial multicâmera com bundle adjustment offline, e as mãos de um rastreador multivista que ajusta um único modelo de mão MANO em todas as câmeras. Em comparação com captura de movimento, a Grounded SI relata um erro mediano da trajetória da cabeça de 3,0 mm e um erro de mão de 4,5 mm PA-MPJPE; são medições próprias, descritas no relatório técnico.
A linguagem vem em dois níveis: uma legenda resumida por intervalo e, dentro dela, legendas detalhadas e consecutivas das subtarefas. As legendas detalhadas são geradas pelo Gemini 3.8 Flash a partir das duas câmeras frontais, e pessoas revisaram as legendas de 1.000 horas, 10% do corpus, comparando com o vídeo.
Cada episódio vem em duas formas. O formato LeRobot serve para treinar, com um MP4 H.265 por câmera e tabelas Parquet de pose da cabeça, pose das mãos e leituras de IMU indexadas por quadro. Uma gravação do Rerun mostra os seis fluxos, a trajetória da cabeça e as malhas das mãos num único referencial 3D do mundo. Cada episódio traz também sua calibração e um arquivo JSON com rótulos de taxonomia, legendas e estatísticas de qualidade, e os fluxos brutos são publicados para que os rótulos possam ser conferidos e regenerados. O vídeo soma cerca de 108 TB, guardados num bucket de armazenamento do Hugging Face do qual o LeRobot pode fazer streaming. O acesso exige uma solicitação na página do dataset, que a Grounded SI diz analisar em 2 a 3 dias úteis. Sem conta, o site de prévia do dataset permite a qualquer pessoa navegar por 1.794 episódios com legenda, país e zona de trabalho, e reproduzi-los num visualizador do Rerun.
Sobre privacidade, a ficha diz que todo trabalhador assinou um termo de consentimento informado, toda empresa parceira assinou um acordo de dados e quem usa o boné recebe um pagamento além do salário. Não foi gravado áudio, os rostos são desfocados de forma permanente pelo detector próprio da Grounded SI, e os metadados indicam apenas o país e o tipo de local. O anúncio cita a BitRobot como coautora, e a BitRobot publicou gravações RoboCap próprias e menores, como RoboCap-IKEA-500 e RoboCap-Origami-500.
Por que importa
Robôs aprendem habilidades manuais com demonstrações, e a teleoperação fornece poucas, a um custo alto. Há muito vídeo de pessoas trabalhando, mas um robô imita poses, não pixels: as imagens só viram dados de treino quando a cabeça e as mãos estão localizadas em metros em cada quadro. O RoboCap-10k fornece isso para 10.000 horas de trabalho real de um único dispositivo calibrado, mantendo os fluxos brutos para que os rótulos possam ser refeitos, sob uma licença que permite uso comercial. É o maior dataset egocêntrico deste catálogo, ao lado do Eidon Tracker POV, que registra tarefas domésticas, e do HiFi-UMI-2K, que registra trabalho bimanual sem robô com um equipamento de cabeça e mãos; o RoboCap-10k registra ofícios especializados. É material para pré-treinar modelos VLA e modelos de mundo, para aprendizado por imitação e para retargeting de movimento de mãos humanas para mãos robóticas, e chega no formato LeRobot, com gravações do Rerun para inspeção. Ferramentas como o MINT estimam o movimento das mãos a partir de vídeo comum; esta publicação já o traz medido com estéreo calibrado.
Problema que resolve
O vídeo egocêntrico é a fonte mais escalável de dados de manipulação, mas a maioria dos grandes corpora não tem rótulos 3D métricos, mistura muitos dispositivos diferentes ou foi gravada em laboratórios com poucos participantes fazendo tarefas encenadas. O RoboCap-10k oferece 10.000 horas de trabalho profissional sem roteiro de um único modelo de dispositivo calibrado, com pose métrica da cabeça, pose 3D das mãos e legendas em dois níveis em cada episódio, num formato que as ferramentas de aprendizado de robôs já leem e sob uma licença que permite uso comercial.
Pontos principais
- 10.000 horas selecionadas em 1.363.915 episódios de trabalho remunerado real, de 21 setores, 365 tipos de local de trabalho e 619 tarefas em 11 países
- Tudo gravado com um único modelo de dispositivo, o boné RoboCap: seis câmeras global shutter sincronizadas e duas IMUs
- Pose de cabeça 6-DoF métrica alinhada à gravidade e pose das mãos MANO com 21 keypoints por mão em cada quadro
- Legendas resumidas da tarefa e legendas detalhadas e temporizadas das subtarefas, com 10% das horas revisadas por pessoas
- Formato LeRobot para treinar e gravações do Rerun para inspecionar, com fluxos brutos e calibração por sessão
- CC BY 4.0, aberto a uso comercial; o acesso é concedido mediante solicitação, e o vídeo soma cerca de 108 TB
Para quem é
- Pesquisadores que pré-treinam modelos VLA, modelos de mundo e modelos de fundação para robôs com dados de demonstrações humanas
- Equipes que transferem o movimento de mãos humanas para mãos robóticas em manipulação destra
- Pesquisadores de visão computacional que trabalham com vídeo egocêntrico, SLAM, pose das mãos e segmentação de ações
- Usuários do LeRobot que querem dados humanos em larga escala num formato que suas ferramentas já leem
Limitações
- Demonstrações humanas, não ações de robô: treinar um robô com elas exige retargeting, e braços humanos diferem de braços robóticos
- Todos os rótulos 3D são saídas de modelos, não ground truth, e os erros de mão se concentram onde os dedos ficam ocultos em pegadas firmes
- Os números de precisão são da própria Grounded SI, medidos em seus próprios benchmarks e publicados em seu relatório técnico
- As legendas detalhadas são geradas pelo Gemini 3.8 Flash; pessoas revisaram apenas 10% das horas
- A coleta se concentra em poucos países, a Índia responde pela maioria dos setores, e o trabalho doméstico e o feito com uma só mão estão sub-representados
- Sem sensores táteis ou de força: o contato precisa ser inferido apenas pela visão
- Acesso restrito: exige uma solicitação aprovada, e o vídeo completo tem cerca de 108 TB, então a maioria fará streaming ou baixará uma parte
- Os rostos são desfocados por um detector com 77,3% de recall em quadros isolados, ajudado por rastreamento entre quadros; a ficha não afirma que todo rosto é detectado
- CC BY 4.0 exige atribuição e não licencia os direitos de privacidade e de imagem dos trabalhadores e das pessoas ao redor no vídeo