Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

RoboCap-10k

10 000 heures de travail payé en vue subjective, avec pose 3D métrique tête et mains

Licence

CC BY 4.0

Données : CC BY 4.0, d'après la section licence de la fiche du jeu de données, son étiquette de licence sur Hugging Face et le rapport technique ; la fiche dit qu'elles peuvent servir à toute fin, y compris commerciale, en créditant par la citation de l'article. Accès : restreint ; Grounded SI approuve chaque demande, et le formulaire demande de s'engager à ne pas tenter de réidentifier quiconque dans le jeu de données. Personnes filmées : la fiche indique que les travailleurs ont signé des consentements éclairés et que les visages sont floutés, mais CC BY 4.0 ne licencie pas les droits à la vie privée ni à l'image, et le rapport laisse le respect du droit du travail et de la vie privée locaux au partenaire de chaque pays. Jeux de données liés : RoboCap-LiDAR-100 de BitRobot est sous CC BY-NC 4.0, non commercial uniquement, tandis que RoboCap-IKEA-500 et RoboCap-Origami-500 sont sous CC BY 4.0. Image de la carte : une image tirée de l'aperçu d'un épisode du jeu de données fait par Grounded SI ; crédit Grounded Superintelligence. Vérifié le 2026-11-12 sur la fiche du jeu de données, le rapport technique et les fiches des jeux de données de BitRobot.

Aperçu

RoboCap-10k est un jeu de données égocentrique de Grounded Superintelligence : 10 000 heures sélectionnées de personnes faisant leur travail rémunéré, filmées depuis une casquette à caméras et annotées avec le mouvement 3D métrique de la tête et des mains. Il contient 1 363 915 épisodes couvrant 21 secteurs, 365 types de sites et 619 tâches, enregistrés dans 11 pays, de la fabrication du pain et la couture de vêtements à la réparation de moteurs, la soudure de cartes électroniques et le ligaturage de fers à béton. Chaque heure a été enregistrée avec le même appareil, la RoboCap, une casquette de 250 g dotée de six caméras global shutter synchronisées et de deux IMU, et traitée par le même pipeline 3D. Chaque image porte une pose de tête 6-DoF alignée sur la gravité et des paramètres de main MANO avec 21 keypoints par main dans le repère du monde, et chaque épisode a une courte légende de tâche et des légendes horodatées des sous-tâches. Les données sont fournies au format LeRobot et sous forme d'enregistrements Rerun, avec les flux bruts des caméras, sous CC BY 4.0. Le jeu de données a été publié sur Hugging Face le 7 novembre 2026, et l'accès est accordé sur demande.

RoboCap-10k est un jeu de données à la première personne de travail professionnel réel, destiné à entraîner des politiques de robots et des modèles du monde, publié par Grounded Superintelligence sur Hugging Face sous CC BY 4.0. Les travailleurs ont porté une casquette à caméras pendant leurs postes rémunérés habituels de 6 à 12 heures, et rien n'a été scénarisé ni mis en scène pour la caméra. La version sélectionnée contient 10 000 heures en 1 363 915 épisodes de 10 à 600 secondes, avec une médiane de 17,8 secondes. Elle couvre 21 secteurs, 365 types de sites et 619 tâches, enregistrés dans 11 pays : Inde, Nigeria, Colombie, États-Unis, Royaume-Uni, Mexique, Chili, Malaisie, Philippines, Indonésie et Espagne. Les tâches sont classées par difficulté, avec 170 faciles, 277 moyennes et 172 difficiles, ces dernières étant du travail qualifié comme souder des composants sur des cartes électroniques, ligaturer des cages d'armature ou la couture industrielle.

Tout a été enregistré avec un seul modèle d'appareil, la RoboCap : une casquette de 250 g avec six caméras global shutter en 1080p à 30 Hz, déclenchées par un seul trigger matériel, et deux IMU à 200 Hz. Deux paires stéréo fisheye gardent les mains dans une vue stéréo métrique sur toute la zone d'atteinte, et deux caméras latérales grand angle captent les gestes qui en sortent. Grounded SI recalibre les caméras de chaque session d'enregistrement à partir des images elles-mêmes et indique que chaque appareil publié reste sous 1 px d'erreur épipolaire moyenne. Les trajectoires de la tête proviennent d'un SLAM visuel-inertiel multicaméra avec ajustement de faisceaux hors ligne, et les mains d'un tracker multivue qui ajuste un seul modèle de main MANO sur toutes les caméras. Par rapport à la capture de mouvement, Grounded SI annonce une erreur médiane de trajectoire de la tête de 3,0 mm et une erreur de main de 4,5 mm PA-MPJPE ; ce sont ses propres mesures, décrites dans le rapport technique.

Le langage se présente à deux niveaux : une légende brève par intervalle et, à l'intérieur, des légendes détaillées et consécutives des sous-tâches. Les légendes détaillées sont générées par Gemini 3.8 Flash à partir des deux caméras frontales, et des personnes ont vérifié les légendes de 1 000 heures, 10% du corpus, par rapport à la vidéo.

Chaque épisode existe sous deux formes. Le format LeRobot sert à l'entraînement, avec un MP4 H.265 par caméra et des tables Parquet de pose de la tête, pose des mains et mesures IMU indexées par image. Un enregistrement Rerun affiche les six flux, la trajectoire de la tête et les maillages des mains dans un même repère 3D du monde. Chaque épisode inclut aussi sa calibration et un fichier JSON avec les étiquettes de taxonomie, les légendes et des statistiques de qualité, et les flux bruts sont publiés pour que les étiquettes puissent être vérifiées et régénérées. La vidéo totalise environ 108 TB, stockés dans un bucket de stockage Hugging Face depuis lequel LeRobot peut lire en streaming. L'accès nécessite une demande sur la page du jeu de données, que Grounded SI dit examiner sous 2 à 3 jours ouvrés. Sans compte, le site d'aperçu du jeu de données permet à tous de parcourir 1 794 épisodes avec légende, pays et zone de travail, et de les lire dans un visualiseur Rerun.

Côté vie privée, la fiche indique que chaque travailleur a signé un formulaire de consentement éclairé, que chaque entreprise partenaire a signé un accord sur les données et que les porteurs sont payés en plus de leur salaire. Aucun son n'a été enregistré, les visages sont floutés de façon permanente par le détecteur maison de Grounded SI, et les métadonnées n'indiquent que le pays et le type de site. L'annonce cite BitRobot comme coauteur, et BitRobot a publié ses propres enregistrements RoboCap plus petits, comme RoboCap-IKEA-500 et RoboCap-Origami-500.

Pourquoi c'est important

Les robots apprennent les gestes de la main à partir de démonstrations, et la téléopération en fournit peu, à un coût élevé. La vidéo de personnes au travail abonde, mais un robot imite des poses, pas des pixels : les images ne deviennent des données d'entraînement qu'une fois la tête et les mains localisées en mètres sur chaque image. RoboCap-10k fournit cela pour 10 000 heures de travail réel issues d'un seul appareil calibré, en gardant les flux bruts pour pouvoir refaire les étiquettes, sous une licence qui autorise l'usage commercial. C'est le plus grand jeu de données égocentrique de ce catalogue, aux côtés de Eidon Tracker POV, qui enregistre des tâches ménagères, et de HiFi-UMI-2K, qui enregistre du travail bimanuel sans robot avec un dispositif tête et mains ; RoboCap-10k enregistre des métiers qualifiés. C'est une matière pour le pré-entraînement de modèles VLA et de modèles du monde, pour l'apprentissage par imitation et pour le reciblage de mouvement des mains humaines vers des mains robotiques, et il arrive au format LeRobot, avec des enregistrements Rerun pour l'inspection. Des outils comme MINT estiment le mouvement des mains à partir de vidéo ordinaire ; cette publication le fournit déjà mesuré en stéréo calibrée.

Le problème résolu

La vidéo égocentrique est la source la plus évolutive de données de manipulation, mais la plupart des grands corpus n'ont pas d'étiquettes 3D métriques, mélangent de nombreux appareils différents ou ont été enregistrés en laboratoire avec quelques participants faisant des tâches mises en scène. RoboCap-10k fournit 10 000 heures de travail professionnel non scénarisé issues d'un seul modèle d'appareil calibré, avec pose métrique de la tête, pose 3D des mains et légendes à deux niveaux sur chaque épisode, dans un format que les outils d'apprentissage robotique lisent déjà et sous une licence qui autorise l'usage commercial.

Points clés

  • 10 000 heures sélectionnées en 1 363 915 épisodes de vrai travail rémunéré, couvrant 21 secteurs, 365 types de sites et 619 tâches dans 11 pays
  • Tout enregistré avec un seul modèle d'appareil, la casquette RoboCap : six caméras global shutter synchronisées et deux IMU
  • Pose de tête 6-DoF métrique alignée sur la gravité et pose des mains MANO avec 21 keypoints par main sur chaque image
  • Légendes brèves de tâche et légendes détaillées horodatées des sous-tâches, dont 10% des heures vérifiées par des personnes
  • Format LeRobot pour l'entraînement et enregistrements Rerun pour l'inspection, avec flux bruts et calibration par session
  • CC BY 4.0, ouvert à l'usage commercial ; accès accordé sur demande, et la vidéo totalise environ 108 TB

Pour qui

  • Chercheurs qui pré-entraînent des modèles VLA, des modèles du monde et des modèles de fondation pour robots sur des démonstrations humaines
  • Équipes qui transfèrent le mouvement des mains humaines vers des mains robotiques pour la manipulation dextre
  • Chercheurs en vision par ordinateur travaillant sur la vidéo égocentrique, le SLAM, la pose des mains et la segmentation d'actions
  • Utilisateurs de LeRobot qui veulent des données humaines à grande échelle dans un format que leurs outils lisent déjà

Limites

  • Des démonstrations humaines, pas des actions de robot : entraîner un robot avec elles demande un reciblage, et les bras humains diffèrent des bras robotiques
  • Toutes les étiquettes 3D sont des sorties de modèles, pas une vérité terrain, et les erreurs de main se concentrent là où les doigts sont cachés lors de prises serrées
  • Les chiffres de précision sont ceux de Grounded SI, mesurés sur ses propres benchmarks et publiés dans son rapport technique
  • Les légendes détaillées sont générées par Gemini 3.8 Flash ; des personnes n'ont vérifié que 10% des heures
  • La collecte se concentre sur quelques pays, l'Inde fournit la plupart des secteurs, et le travail domestique et à une main sont sous-représentés
  • Pas de capteurs tactiles ni d'effort : le contact doit être déduit de la seule vision
  • Accès restreint : il faut une demande approuvée, et la vidéo complète fait environ 108 TB, donc la plupart des utilisateurs en liront ou téléchargeront une partie
  • Les visages sont floutés par un détecteur avec 77,3% de rappel sur des images isolées, aidé par un suivi entre images ; la fiche n'affirme pas que chaque visage est détecté
  • CC BY 4.0 exige l'attribution et ne licencie pas les droits à la vie privée ni à l'image des travailleurs et des passants filmés

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.