Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

NVIDIA Human-1M-100K

100 000 heures de vidéo à la première personne de travail manuel, mains et tâches

Licence

CC BY 4.0

Données : CC BY 4.0, d'après les Governing Terms de la fiche du jeu de données et son étiquette de licence sur Hugging Face ; la fiche les dit prêtes pour un usage commercial et non commercial. Attribution : toute réutilisation doit citer NVIDIA et renvoyer à la licence. Personnes filmées : CC BY 4.0 ne concède aucun droit à la vie privée ou à l'image, et la fiche ne décrit pas le consentement. Prototypes matériels : un dépôt distinct, avec le logiciel sous Apache-2.0 et les plans matériels sous CC BY 4.0. Modèles : GR00T 2 n'est pas publié, ses conditions ne sont donc pas connues. Vérifié le 2026-11-10 à partir de README.md et DATASET_CARD.md du dépôt du jeu de données et des fichiers LICENSE du dépôt matériel.

Aperçu

Human-1M-100K est la partie publiée en accès libre de Human-1M, la collection de NVIDIA d'environ un million d'heures de vidéo à la première personne de personnes effectuant un travail physique, enregistrée avec des capteurs pour que la vidéo s'accompagne des mouvements de la tête et des mains et de langage. Le sous-ensemble ouvert compte 100 000 heures en 3 405 573 épisodes, avec 406 815 groupes de tâches enregistrés, 41 288 collecteurs, 81 557 scènes et neuf catégories d'environnement, filmé à la fois dans de vrais logements et lieux de travail et en studio. Chaque épisode contient la vidéo de la caméra frontale, mono ou stéréo et parfois avec des caméras aux poignets, la pose de la caméra frontale, 21 points clés par main avec leur confiance, un objectif en une ou deux phrases (T1) et une suite d'actions horodatées de 1 à 10 secondes (T2). Les données sont au format LeRobot v3.0, sous licence CC BY 4.0 pour un usage commercial et non commercial, et ont été publiées sur Hugging Face le 4 novembre 2026. NVIDIA indique que Human-1M sert à entraîner ses modèles Cosmos et GR00T, et sa page de recherche sur GR00T 2 le désigne comme la source de la vidéo humaine de ce modèle.

Human-1M est la collection de NVIDIA de démonstrations humaines enregistrées avec des capteurs : environ un million d'heures de vidéo égocentrique de personnes travaillant de leurs mains, de la préparation des repas et du réassort des rayons à l'emballage de commandes, l'assemblage de pièces et la réparation d'équipements. Le 4 novembre 2026, NVIDIA en a publié 100 000 heures sous le nom Human-1M-100K sur Hugging Face, sous CC BY 4.0. La publication compte 3 405 573 épisodes, 406 815 groupes de tâches enregistrés, 41 288 collecteurs, 81 557 scènes et neuf catégories d'environnement. Une partie a été enregistrée en conditions réelles, dans de vrais logements et lieux de travail, et une partie en studio, où des gestes précis, des assemblages et des protocoles de laboratoire peuvent être répétés.

Un épisode, c'est une personne qui accomplit un travail utile vers un objectif mesurable, généralement quelque chose qui prend de 5 à 10 minutes. La vidéo doit faire au moins 30 FPS et 480p à vitesse réelle, avec une main ou les deux dans le champ pendant au moins 95% de l'épisode. La caméra frontale est mono ou stéréo, et certains épisodes ajoutent une caméra à chaque poignet. Chaque image porte la pose 6-DoF de la caméra frontale, 21 points clés par main sous forme de positions en mètres et de rotations, ainsi qu'un masque de présence et une confiance pour chaque main. Le langage se présente à deux niveaux : T1 résume en une ou deux phrases l'objectif, les actions principales et les objets clés, et T2 découpe tout l'épisode en segments consécutifs de 1 à 10 secondes, chacun précisant quelle main fait quoi avec quel objet. Les épisodes enregistrent aussi l'étalonnage des caméras, un code pays, le caractère public ou privé du lieu, et des identifiants pseudonymisés pour le collecteur, la scène et la source.

NVIDIA décrit quatre contrôles de qualité qui combinent relecture humaine et vérifications automatiques, portant sur l'annotation, l'utilité de la tâche, la diversité et le suivi 3D. Son propre graphique d'audit couvre 25 semaines de livraison, avec 561 000 heures acceptées et 461 000 heures soumises rejetées.

Les données sont stockées sous forme de jeux de données LeRobot v3.0, organisés par fournisseur, lot et version, avec des tables Parquet pour les images, épisodes, tâches, sous-tâches, environnements et scènes, et un fichier MP4 par caméra. La référence des champs documente chaque colonne. Les données complètes se trouvent dans un bucket de stockage public de Hugging Face, qui affichait 1 321 To en 2 561 357 fichiers le 10 novembre 2026 : la plupart des utilisateurs n'en téléchargeront qu'une partie. Pour regarder avant de télécharger, le dépôt du jeu de données propose de courts extraits et trois épisodes d'exemple complets, et le Human-1M Dataset Explorer montre dans le navigateur la vidéo, la reconstruction 3D, le retargeting vers des robots, les labels T2 et une recherche dans les groupes de tâches.

La page de recherche sur GR00T 2 de NVIDIA indique que le modèle a été préentraîné sur 402 730 heures de vidéo égocentrique humaine issues de Human-1M, avec 10 184 heures de démonstrations faites avec une pince tenue à la main et 23 500 heures de téléopération de robots. Dans le test de NVIDIA elle-même, passer d'aucune vidéo humaine à la totalité a fait monter la progression sur 72 tâches robotiques de 50% à 70%. GR00T 2 lui-même n'est pas encore publié : la page annonce son code pour décembre 2026. La fiche du jeu de données indique aussi que Human-1M alimente les modèles Cosmos de NVIDIA. Par ailleurs, NVIDIA a publié les plans matériels des appareils portatifs et portables qu'elle a construits pour collecter des données pour GR00T 2, avec leur logiciel dans le dépôt du matériel de données GR00T.

Pourquoi c'est important

L'apprentissage des robots a besoin de bien plus d'exemples de travail manuel habile que les robots ne peuvent en enregistrer : la téléopération est lente et coûteuse, et la vidéo ordinaire de personnes n'a ni les mouvements des mains ni les labels dont un modèle peut apprendre des actions. Human-1M-100K offre 100 000 heures de travail réel avec la pose de la tête et des mains et des labels d'actions horodatés déjà joints, sous CC BY 4.0, qui autorise l'usage commercial. C'est ainsi le plus grand jeu de données ouvert de manipulation humaine égocentrique de ce catalogue, à côté de publications plus petites comme Eidon Tracker POV et de données de manipulation sans robot comme HiFi-UMI-2K. Il sert au préentraînement de modèles VLA et de modèles du monde, à la recherche en apprentissage par imitation et au retargeting de mouvement des mains humaines vers des mains robotiques, et il arrive au format LeRobot que beaucoup d'outils d'apprentissage robotique lisent déjà. Selon NVIDIA, ce sont aussi les données humaines derrière le prochain modèle de fondation GR00T, ce qui permet à chacun d'étudier ces données avant la sortie du modèle.

Le problème résolu

Apprendre aux robots à se servir de leurs mains exige de grandes quantités de données de démonstration, et les collecter par téléopération de robots est lent, coûteux et limité aux tâches qu'un laboratoire peut mettre en place. La vidéo de personnes au travail abonde, mais elle n'a ni mouvements des mains ni structure de tâche, si bien qu'un modèle peut difficilement en apprendre des actions. Human-1M-100K fournit du travail humain réel à grande échelle avec les éléments manquants déjà ajoutés : pose de la tête et des mains, confiance par main, un objectif pour chaque épisode et des labels d'actions horodatés, dans un format LeRobot documenté et sous une licence qui autorise l'usage commercial.

Points clés

  • 100 000 heures de travail humain à la première personne, le sous-ensemble ouvert de la collection Human-1M de NVIDIA d'un million d'heures
  • 3 405 573 épisodes de 41 288 collecteurs dans 81 557 scènes, 406 815 groupes de tâches et neuf catégories d'environnement
  • Vidéo frontale mono ou stéréo, caméras de poignet en option, pose 6-DoF de la caméra frontale et 21 points clés par main avec confiance
  • Labels de langage à deux niveaux : un objectif par épisode (T1) et des actions consécutives horodatées de 1 à 10 secondes (T2)
  • Format LeRobot v3.0, avec référence des champs, extraits, trois épisodes d'exemple complets et un explorateur dans le navigateur
  • CC BY 4.0, ouvert à l'usage commercial ; NVIDIA désigne Human-1M comme la vidéo humaine derrière GR00T 2

Pour qui

  • Chercheurs qui préentraînent des modèles VLA, des modèles du monde et des modèles de fondation pour robots sur des données de démonstration humaine
  • Équipes qui travaillent sur le transfert des mouvements de mains humaines vers des mains robotiques et sur la manipulation dextre
  • Chercheurs en vision par ordinateur qui étudient la vidéo égocentrique, la pose des mains et la segmentation d'actions
  • Utilisateurs de LeRobot qui cherchent des données humaines à grande échelle dans un format que leurs outils lisent déjà

Limites

  • Des démonstrations humaines, pas des actions de robot : s'en servir pour entraîner un robot demande du retargeting ou un modèle qui apprend de la vidéo
  • Très volumineux : le bucket de stockage affichait 1 321 To en 2 561 357 fichiers le 10 novembre 2026, la plupart des utilisateurs n'en téléchargeront qu'une partie
  • Seules 100 000 des quelque un million d'heures de Human-1M sont ouvertes ; le reste reste chez NVIDIA
  • Le dossier du bucket s'appelle release-staging et était encore mis à jour le 10 novembre 2026
  • Les affirmations sur l'amélioration des modèles grâce à ces données sont celles de NVIDIA, tirées de sa page de recherche sur GR00T 2 ; GR00T 2 lui-même n'est pas encore publié
  • Enregistré par plusieurs sources aux configurations de caméras différentes, et certains champs, comme le rig ou la catégorie de confidentialité, manquent pour certaines sources
  • La fiche ne dit pas comment le consentement des personnes filmées a été obtenu ni si les visages sont floutés ; les identifiants sont pseudonymisés
  • CC BY 4.0 impose l'attribution et ne concède pas les droits à la vie privée ou à l'image des personnes filmées

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.