NVIDIA Human-1M-100K
100.000 horas de vídeo em primeira pessoa de trabalho manual com poses das mãos e tarefas
Licença
CC BY 4.0
Dados: CC BY 4.0, conforme os Governing Terms da ficha do dataset e sua etiqueta de licença no Hugging Face; a ficha diz que estão prontos para uso comercial e não comercial. Atribuição: qualquer reutilização deve citar a NVIDIA e linkar a licença. Pessoas no vídeo: CC BY 4.0 não licencia direitos de privacidade ou de imagem, e a ficha não descreve o consentimento. Protótipos de hardware: um repositório separado, com o software sob Apache-2.0 e os projetos de hardware sob CC BY 4.0. Modelos: o GR00T 2 não foi lançado, então seus termos não são conhecidos. Verificado em 2026-11-10 com README.md e DATASET_CARD.md do repositório do dataset e os arquivos LICENSE do repositório de hardware.
Visão geral
Human-1M-100K é a parte publicada abertamente do Human-1M, a coleção da NVIDIA de cerca de um milhão de horas de vídeo em primeira pessoa de pessoas fazendo trabalho físico, gravado com sensores para que o vídeo venha acompanhado do movimento da cabeça e das mãos e de linguagem. O subconjunto aberto reúne 100.000 horas em 3.405.573 episódios, com 406.815 grupos de tarefas registrados, 41.288 coletores, 81.557 cenas e nove categorias de ambiente, filmado tanto em casas e locais de trabalho reais quanto em estúdios. Cada episódio traz o vídeo da câmera de cabeça, mono ou estéreo e às vezes com câmeras de pulso, a pose da câmera de cabeça, 21 pontos-chave por mão com confiança, um objetivo em uma ou duas frases (T1) e uma sequência de ações cronometradas de 1 a 10 segundos (T2). Os dados estão no formato LeRobot v3.0, licenciados sob CC BY 4.0 para uso comercial e não comercial, e foram publicados no Hugging Face em 4 de novembro de 2026. A NVIDIA diz que o Human-1M é material de treinamento para seus modelos Cosmos e GR00T, e sua página de pesquisa do GR00T 2 o aponta como a fonte do vídeo humano desse modelo.
Human-1M é a coleção da NVIDIA de demonstrações humanas registradas com sensores: cerca de um milhão de horas de vídeo egocêntrico de pessoas trabalhando com as mãos, de preparar comida e repor prateleiras a embalar pedidos, montar peças e consertar equipamentos. Em 4 de novembro de 2026 a NVIDIA publicou 100.000 horas dela como Human-1M-100K no Hugging Face sob CC BY 4.0. A publicação soma 3.405.573 episódios, 406.815 grupos de tarefas registrados, 41.288 coletores, 81.557 cenas e nove categorias de ambiente. Parte foi gravada em ambientes reais, em casas e locais de trabalho, e parte em estúdios onde habilidades específicas, montagens e protocolos de laboratório podem ser repetidos.
Um episódio é uma pessoa fazendo um trabalho útil rumo a um objetivo mensurável, geralmente algo que leva de 5 a 10 minutos. O vídeo precisa ter pelo menos 30 FPS e 480p em velocidade real, com uma ou as duas mãos à vista durante pelo menos 95% do episódio. A câmera de cabeça é mono ou estéreo, e alguns episódios acrescentam uma câmera em cada pulso. Cada quadro traz a pose 6-DoF da câmera de cabeça, 21 pontos-chave por mão como posições em metros e rotações, e uma máscara de presença e uma confiança para cada mão. A linguagem vem em dois níveis: T1 resume em uma ou duas frases o objetivo, as ações principais e os objetos-chave, e T2 divide o episódio inteiro em segmentos consecutivos de 1 a 10 segundos, cada um dizendo qual mão faz o quê com qual objeto. Os episódios também registram a calibração das câmeras, um código de país, se o local era público ou privado e identificadores pseudonimizados de coletor, cena e fonte.
A NVIDIA descreve quatro filtros de qualidade que combinam revisão humana e verificações automáticas, cobrindo anotação, utilidade da tarefa, diversidade e rastreamento 3D. Seu próprio gráfico de auditoria cobre 25 semanas de entrega, com 561.000 horas aceitas e 461.000 horas enviadas rejeitadas.
Os dados ficam em datasets LeRobot v3.0, organizados por fornecedor, lote e versão, com tabelas Parquet de quadros, episódios, tarefas, subtarefas, ambientes e cenas e um arquivo MP4 por câmera. A referência de campos documenta cada coluna. Os dados completos estão em um bucket de armazenamento público do Hugging Face, que em 10 de novembro de 2026 mostrava 1.321 TB em 2.561.357 arquivos, então a maioria dos usuários vai baixar só uma parte. Para olhar antes de baixar, o repositório do dataset tem clipes curtos de prévia e três episódios de exemplo completos, e o Human-1M Dataset Explorer mostra no navegador vídeo, reconstrução 3D, retargeting para robôs, rótulos T2 e uma busca pelos grupos de tarefas.
A página de pesquisa do GR00T 2 da NVIDIA diz que o modelo foi pré-treinado com 402.730 horas de vídeo egocêntrico humano do Human-1M, junto com 10.184 horas de demonstrações com uma garra de mão e 23.500 horas de teleoperação de robôs. No teste da própria NVIDIA, passar de nenhum para todo o vídeo humano elevou o progresso em 72 tarefas de robô de 50% para 70%. O GR00T 2 em si ainda não foi lançado: a página anuncia o código para dezembro de 2026. A ficha do dataset também diz que o Human-1M alimenta os modelos Cosmos da NVIDIA. À parte, a NVIDIA publicou os projetos de hardware dos dispositivos portáteis e vestíveis que construiu para coletar dados para o GR00T 2, com o software no repositório de hardware de dados do GR00T.
Por que importa
O aprendizado de robôs precisa de muito mais exemplos de trabalho manual habilidoso do que os robôs conseguem gravar: a teleoperação é lenta e cara, e ao vídeo comum de pessoas faltam o movimento das mãos e os rótulos com que um modelo aprende ações. O Human-1M-100K oferece 100.000 horas de trabalho real com pose de cabeça e mãos e rótulos de ações cronometradas já incluídos, sob CC BY 4.0, que permite uso comercial. Isso o torna o maior dataset aberto de manipulação humana egocêntrica deste catálogo, ao lado de publicações menores como Eidon Tracker POV e de dados de manipulação sem robô como HiFi-UMI-2K. É material para pré-treinar modelos VLA e modelos de mundo, para pesquisa em aprendizado por imitação e para retargeting de movimento de mãos humanas para mãos robóticas, e chega no formato LeRobot que muitas ferramentas de aprendizado de robôs já leem. Segundo a NVIDIA, são também os dados humanos por trás do próximo modelo de fundação GR00T, o que permite a qualquer um estudar esses dados antes de o modelo sair.
Problema que resolve
Ensinar robôs a usar as mãos exige grandes quantidades de dados de demonstração, e coletá-los por teleoperação de robôs é lento, caro e limitado às tarefas que um laboratório consegue montar. Vídeo de pessoas fazendo trabalho real existe em abundância, mas não traz movimento das mãos nem estrutura de tarefa, então um modelo não aprende ações dele com facilidade. O Human-1M-100K fornece trabalho humano real em grande escala com as partes que faltavam já adicionadas: pose de cabeça e mãos, confiança por mão, um objetivo para cada episódio e rótulos de ações cronometradas, em um formato LeRobot documentado e sob uma licença que permite uso comercial.
Pontos principais
- 100.000 horas de trabalho humano em primeira pessoa, o subconjunto aberto da coleção Human-1M da NVIDIA, de um milhão de horas
- 3.405.573 episódios de 41.288 coletores em 81.557 cenas, 406.815 grupos de tarefas e nove categorias de ambiente
- Vídeo de cabeça mono ou estéreo, câmeras de pulso opcionais, pose 6-DoF da câmera de cabeça e 21 pontos-chave por mão com confiança
- Rótulos de linguagem em dois níveis: um objetivo por episódio (T1) e ações consecutivas cronometradas de 1 a 10 segundos (T2)
- Formato LeRobot v3.0, com referência de campos, clipes de prévia, três episódios de exemplo completos e um explorador no navegador
- CC BY 4.0, aberto a uso comercial; a NVIDIA aponta o Human-1M como o vídeo humano por trás do GR00T 2
Para quem é
- Pesquisadores que pré-treinam modelos VLA, de mundo e de fundação para robôs com dados de demonstração humana
- Equipes que trabalham em transferir o movimento de mãos humanas para mãos robóticas e em manipulação destra
- Pesquisadores de visão computacional que estudam vídeo egocêntrico, pose das mãos e segmentação de ações
- Usuários do LeRobot que querem dados humanos em grande escala num formato que suas ferramentas já leem
Limitações
- São demonstrações humanas, não ações de robô: usá-las para treinar um robô exige retargeting ou um modelo que aprenda com vídeo
- Muito grande: o bucket de armazenamento mostrava 1.321 TB em 2.561.357 arquivos em 10 de novembro de 2026, então a maioria dos usuários vai baixar uma parte escolhida
- Só 100.000 das cerca de um milhão de horas do Human-1M são abertas; o resto fica com a NVIDIA
- A pasta do bucket se chama release-staging e ainda estava sendo atualizada em 10 de novembro de 2026
- As afirmações sobre quanto os dados melhoram os modelos são da própria NVIDIA, da sua página de pesquisa do GR00T 2; o GR00T 2 em si ainda não foi lançado
- Gravado por várias fontes com configurações de câmera diferentes, e alguns campos, como o rig ou a categoria de privacidade, faltam em algumas fontes
- A ficha não diz como foi obtido o consentimento das pessoas gravadas nem se os rostos são desfocados; os identificadores são pseudonimizados
- CC BY 4.0 exige atribuição e não licencia os direitos de privacidade ou de imagem das pessoas no vídeo