Eidon Tracker POV
1 274 heures de vidéo domestique à la première personne avec suivi des bras par sept centrales inertielles
Licence
CC-BY-4.0
Aperçu
Vingt-sept volontaires ont porté une caméra sur la tête et un harnais de sept centrales inertielles en effectuant de vraies tâches ménagères chez eux : plier le linge, faire le ménage, la vaisselle, la cuisine, tricoter. Il en résulte 13 451 enregistrements totalisant 1 273,8 heures, chacun associant la vidéo à la première personne et l'orientation à 24 Hz pour les deux mains, les deux avant-bras, les deux bras et le buste. Le capteur du torse sert de repère : composer son inverse avec un segment donne la pose du bras relative au buste, indépendante de la direction dans laquelle la personne regarde. Vidéo et centrales vivent dans deux dépôts joints par recording_id, plus un conteneur abritant 306 heures supplémentaires de vidéo seule. Le tout en CC-BY-4.0.
Les grands jeux de données d'apprentissage robotique comme AgiBot World, DROID, Open X-Embodiment et ABC-130k enregistrent des robots. Celui-ci enregistre des personnes effectuant des manipulations ordinaires, de leur propre point de vue, avec la configuration de leur bras mesurée plutôt que déduite. Estimer la pose de la main à partir d'une vidéo égocentrique est un problème difficile et bruité ; ici, les poses du bras sont accompagnées d'une vérité terrain issue de capteurs portés sur le corps.
La fiche du jeu de données documente en détail ses propres faiblesses. La distribution des tâches est très déséquilibrée : plier du linge représente 67,5 % de toutes les heures et les classes de queue comptent moins de trois heures chacune, si bien que la fiche met en garde contre le fait de le traiter comme un jeu de données d'activités équilibré à neuf classes. Les contributeurs sont peu nombreux et inégalement représentés, le plus important fournissant 16,1 % des heures et les cinq premiers 57,2 %, si bien que la fiche conseille de répartir les données selon contributor_id : une répartition aléatoire fait fuiter la même personne, le même logement et le même dispositif de caméra entre entraînement et test, et gonfle les résultats. Les données démographiques sont divulguées et décrites comme non représentatives : parmi les personnes ayant répondu, l'âge médian est de 26 ans et 15 sur 17 sont des hommes. Les mesures brutes d'accéléromètre, de gyroscope et de magnétomètre ne couvrent que 2 841 enregistrements, et la fiche indique le champ exact sur lequel filtrer. Le contrôle qualité a appliqué à chaque enregistrement la détection des mains MediaPipe, ainsi que des vérifications de luminosité HSV, de flou laplacien et de stabilité par flux optique ; les 472 enregistrements rejetés sont inclus et marqués, comme exemples négatifs.
L'entreprise à l'origine du jeu de données, Eidon AI (sous le nom commercial Solidic Labs Inc), a cessé ses activités. Elle a publié les données sous CC-BY-4.0 afin qu'elles survivent à l'entreprise, ce qui en fait une publication finale plutôt qu'une première version annonçant une suite.
Pourquoi c'est important
La plupart des grands jeux de données d'apprentissage robotique enregistrent des robots téléopérés. Les politiques qui apprennent à partir de vidéos humaines ont besoin de vidéos humaines, et la difficulté a toujours été de savoir ce que faisaient réellement les bras : l'estimation de pose à partir d'une caméra à la première personne est peu fiable au poignet et pire à l'épaule. Enregistrer 1 274 heures de vraies tâches ménagères avec sept IMU sur le corps répond directement à ce problème, et les données sont publiées sous une licence permissive.
Le problème résolu
Apprendre la manipulation à partir de vidéo humaine suppose de savoir ce que faisaient les bras, et le reconstituer depuis une caméra à la première personne n'est pas fiable. Ici c'est enregistré directement : l'orientation à 24 Hz de sept capteurs portés sur le corps à côté de la vidéo, plus de mille heures de travail domestique non mis en scène, librement utilisables commercialement.
Points clés
- 13 451 enregistrements, 1 273,8 heures, 27 contributeurs, 9,05 To de MP4 de 1080p à 4K
- Sept IMU 9 axes à 24 Hz : les deux mains, les deux avant-bras, les deux bras et la poitrine, la poitrine servant de repère relatif au torse
- La vidéo et l'IMU sont dans des dépôts séparés reliés par recording_id ; un troisième espace de stockage ajoute 306 heures de séquences vidéo seules provenant de 37 contributeurs
- De vraies tâches dans de vrais logements plutôt que des démonstrations mises en scène : lessive, ménage, vaisselle, cuisine, dessin, tricot, faire le lit, arrosage des plantes
- Chaque enregistrement comporte des métriques de contrôle qualité et un statut valide/signalé/invalide ; les 472 enregistrements invalides sont inclus délibérément comme exemples négatifs
- La fiche du jeu de données nomme les pièges : tâches déséquilibrées, fuite des contributeurs en cas de répartition aléatoire, données démographiques éparses, et le champ de métadonnées qui indique réellement la présence de données de mouvement brutes
- CC-BY-4.0, usage commercial autorisé avec attribution, publié comme version finale après la cessation d'activité de l'entreprise qui l'a créé
Pour qui
- Quiconque entraîne des politiques de manipulation ou des modèles du monde sur de la vidéo de démonstration humaine
- Les chercheurs en estimation de pose de main et de bras en vidéo égocentrique qui ont besoin d'une vérité terrain pour évaluer
- Les équipes construisant de la reconnaissance d'activités de la vie quotidienne, en robotique d'assistance ou ailleurs
- Ceux qui étudient la fusion entre vision et centrales inertielles portées sur le corps
- Quiconque veut de l'échelle en données de manipulation domestique sans les collecter soi-même
Limites
- Plier le linge représente 67,5 % des heures ; les activités de la traîne comptent moins de trois heures chacune et ne peuvent porter une classe à elles seules
- Vingt-sept contributeurs dont les cinq premiers fournissent 57,2 % des heures — partitionnez par contributor_id, sinon votre évaluation fera fuir la même personne, le même logement et le même équipement des deux côtés
- La démographie est lacunaire et déséquilibrée : parmi les répondants, âge médian 26 ans et 15 hommes sur 17
- Les données brutes d'accéléromètre, gyroscope et magnétomètre ne couvrent que 2 841 des 13 451 enregistrements ; les quaternions d'orientation sont présents partout, mais les flux bruts relèvent d'un consentement explicite
- La vidéo est brute — aucun floutage de visage ni caviardage, tournée dans des logements privés, et la fiche précise que la capture fortuite de visages, documents ou écrans ne peut être exclue
- 9,05 To pour la seule vidéo : ce n'est pas un jeu de données que l'on télécharge à la légère
- Aucune synchronisation matérielle entre caméra et centrales ; l'alignement se fait par horodatage, avec un décalage que les auteurs décrivent comme quelques millisecondes d'exécution séquentielle de code
- L'organisation qui l'a produit a cessé d'exister : il n'y aura ni correctifs, ni v2, ni personne à qui s'adresser au-delà de l'adresse de demande de retrait figurant sur la fiche