Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

FiftyOne lit désormais directement les jeux de données LeRobot, avec recherche parmi les épisodes

  • Source: Voxel51 and Hugging Face
  • Auteur: Open Source Robotics
  • Publié: 2026-10-05
  • Catégorie: research

FiftyOne, l'outil open source de Voxel51 pour la curation de jeux de données, ouvre désormais les jeux LeRobot v3 sans les convertir ni copier de vidéo. Chaque épisode se lit avec ses caméras, états et actions synchronisés, puis se filtre, se recherche par texte ou par similarité et s'exporte comme nouveau jeu LeRobot. Seul le format v3 est lu ; le chargeur est arrivé avec FiftyOne 1.22.0.

FiftyOne, l'outil open source de Voxel51 pour la curation de jeux de données, ouvre désormais les jeux de données LeRobot v3 tels quels. On lui indique un dossier et chaque épisode devient un échantillon que l'on peut lire, filtrer et rechercher, sans conversion de format et sans qu'aucune vidéo soit réencodée ou copiée. Des ingénieurs de Voxel51 et de Hugging Face ont décrit cette prise en charge le 5 octobre ; le chargeur lui-même est sorti avec FiftyOne 1.22.0 le 12 septembre et figure dans les notes de version comme le nouveau type LeRobotDataset, accompagné d'un lecteur d'épisodes.

À quoi ressemble un épisode

L'import ne lit que les fichiers de métadonnées du jeu de données. Chaque échantillon est un pointeur : vers les lignes des fichiers Parquet qui contiennent les états et actions de l'épisode, et vers la fenêtre temporelle du MP4 de chaque caméra. Dans l'application, chaque caméra a sa propre tuile, et une tuile « State & Action » affiche la valeur de chaque articulation image par image, en phase avec la vidéo. Le type de robot, la tâche, la durée et la fréquence d'images de chaque épisode deviennent des champs ordinaires : « tous les épisodes SO-101 de plus de dix secondes » est un filtre, pas un script. La documentation de FiftyOne décrit l'import et les champs.

L'exemple complet

L'annonce s'accompagne d'un jeu d'exemple de 497 épisodes, extrait du LeRobot Community Dataset v3 : une dizaine d'épisodes pour chacun des 50 types de robots. Chaque épisode porte un embedding vidéo de Qwen3-VL-Embedding-2B, calculé à partir d'au plus 32 images régulièrement espacées. C'est ce qui rend la curation possible : rechercher des épisodes par une description textuelle, trouver les épisodes les plus proches d'un épisode choisi, et noter chaque épisode selon son caractère inhabituel ou typique, afin de repérer quasi-doublons et valeurs aberrantes avant l'entraînement.

Récupérer les données

Une sélection filtrée rejoint l'entraînement de trois façons : lire les lignes sur place via le pointeur, passer les numéros d'épisode choisis au chargeur LeRobotDataset de LeRobot, ou exporter la sélection comme nouveau jeu LeRobot v3 autonome. Seul l'export copie des données.

Ce qu'il faut vérifier d'abord

- Seul LeRobot v3 est lu ; les jeux plus anciens doivent d'abord être convertis avec les outils de LeRobot. - Les échantillons pointent vers les fichiers sources : un jeu déplacé ou modifié doit être réimporté. - Les numéros d'épisode repartent de zéro dans chaque jeu source. Si plusieurs jeux sont chargés ensemble, filtrez par nom de jeu avant d'exporter ou d'entraîner, et exportez un jeu source à la fois, car leurs schémas diffèrent. - Charger un jeu LeRobot directement depuis le Hugging Face Hub a nécessité un correctif fusionné le 5 octobre, après la dernière version (1.22.1) ; un dossier local reste la voie sûre jusqu'à la prochaine version.

Pourquoi c'est important

La plupart des jeux de données d'apprentissage robotique sont jugés à leur taille, parce qu'y regarder de près est lent : des milliers d'épisodes, plusieurs caméras chacun, et aucun moyen rapide de voir lesquels sont des quasi-copies, lesquels sont défectueux et lesquels montrent quelque chose de rare. Un outil qui lit le format LeRobot sur place, rejoue n'importe quel épisode avec les valeurs de ses articulations et classe les épisodes selon leur caractère typique ou inhabituel rend l'inspection assez peu coûteuse pour être faite avant chaque entraînement. Il donne aussi aux jeux communautaires enregistrés sur des bras à bas coût les outils de curation dont les jeux d'images disposent depuis des années.

Points clés

  • FiftyOne 1.22.0 et versions suivantes chargent les jeux LeRobot v3 en un seul appel ; rien n'est converti, réencodé ni copié à l'import
  • Chaque épisode est un échantillon : chaque caméra est lue dans sa tuile, avec les états et actions des articulations image par image, en phase avec la vidéo
  • Type de robot, tâche, durée et fréquence d'images sont des champs interrogeables : choisir des épisodes est un filtre, pas un script
  • Avec des embeddings vidéo, les épisodes se recherchent par texte, se rapprochent d'épisodes similaires et se notent comme inhabituels ou typiques
  • Une sélection retourne à l'entraînement sur place, via le chargeur de LeRobot ou sous forme de jeu LeRobot v3 exporté
  • Seul v3 est pris en charge, et le chargement depuis le Hugging Face Hub nécessite un correctif fusionné après la version 1.22.1

Côté open source

FiftyOne est open source sous licence Apache-2.0 et la prise en charge de LeRobot se trouve dans ce paquet ouvert, pas derrière le produit commercial FiftyOne Enterprise de Voxel51. Le jeu d'exemple est publié sous Apache-2.0 sur le Hugging Face Hub et s'appuie sur des enregistrements fournis par la communauté LeRobot. Les notes de version mentionnent toutefois séparément le chargement de jeux LeRobot depuis un stockage cloud ; c'est le point à comparer avec la liste des fonctions Enterprise avant de bâtir un projet dessus.

Technologies associées

  • FiftyOne
  • LeRobot
  • LeRobot dataset v3
  • Qwen3-VL-Embedding
  • Parquet
  • Hugging Face Hub

Projets associés

  • LeRobot

Liens

  • Source: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.