Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

LeRobot peut désormais s'entraîner directement sur des tables LanceDB en stockage objet

  • Source: Hugging Face and LanceDB
  • Auteur: Open Source Robotics
  • Publié: 2026-09-24
  • Catégorie: research

La couche de données de LeRobot lit désormais nativement les tables LanceDB : l'entraînement peut lire en flux depuis le stockage objet avec un brassage global complet, sans télécharger d'abord. Sur l'ensemble de DROID, l'exécution distante a fini 33 minutes plus tôt qu'avec une copie locale, pour une perte identique. La prise en charge est dans la branche principale de LeRobot, mais pas encore dans une version publiée.

Correction — 29 octobre 2026. Une version antérieure de cet article indiquait que DROID comptait environ 27,6 millions d'images. Le billet en lien ne donne pas ce chiffre ; il a donc été retiré.

---

LeRobot peut désormais s'entraîner directement à partir de jeux de données stockés sous forme de tables LanceDB, en ne lisant depuis le stockage objet que les octets dont chaque batch a besoin, au lieu de télécharger d'abord le jeu de données. Des ingénieurs de Hugging Face et de LanceDB ont présenté l'intégration le 24 septembre, un mois après que la prise en charge elle-même a été fusionnée dans la branche principale de LeRobot le 28 août. Lance est le premier format de stockage alternatif que la couche de jeux de données de LeRobot lit nativement, et rien ne doit changer dans le code d'enregistrement ou d'entraînement : la commande existante lerobot-train pointe vers une table Lance et choisit d'elle-même le bon chargeur.

Concrètement, un jeu de données trop volumineux pour être copié sur chaque machine d'entraînement peut rester là où il est. Pointé vers un Hugging Face Storage Bucket, un entraînement de SmolVLA sur deux H100 a consommé depuis le bucket les mêmes 212 échantillons par seconde que depuis une copie locale sur NVMe, avec une courbe de perte identique. Le test plus ambitieux portait sur l'intégralité de DROID — 369 GB de vidéo — lu depuis un stockage objet distant avec un mélange global sur toutes les images. Sur deux exécutions de 10 000 pas, identiques par ailleurs, sur huit H100, l'exécution LanceDB s'est terminée en 1 heure 27 minutes, contre 2 heures pour le lecteur standard sur une copie locale qui nécessitait au préalable un téléchargement de 384 GB. L'exécution standard a passé 37 % de son temps à attendre des données ; l'exécution LanceDB, moins de 2 %. La perte finale concordait à la quatrième décimale près.

La seconde moitié de l'argument porte sur la curation. Comme les données d'entraînement sont déjà une table LanceDB, les embeddings, les scores dérivés et les index plein texte peuvent être stockés comme colonnes sur les mêmes lignes que celles lues par l'entraîneur ; rechercher et filtrer les données ne suppose donc pas de les exporter vers une base de données vectorielle distincte. Les auteurs ont calculé les embeddings de 610 403 images de DROID avec SigLIP2 et ont combiné requêtes visuelles et SQL pour extraire des comportements dépourvus d'étiquette — des images de tissu déplacé dans différents foyers dont le texte de tâche n'en faisait jamais mention. Les épisodes peuvent être inspectés dans Foxglove directement depuis la table.

Un parcours complet de DROID a mis au jour trois constats utiles quel que soit l'outil d'entraînement : le filtre d'inactivité d'OpenPI supprime 11,66 % du jeu de données et code en dur la longueur résultante au lieu de la calculer ; la répartition 80/20 par défaut place chaque bâtiment et chaque collecteur de données à la fois dans l'ensemble d'entraînement et dans l'ensemble de validation, ce qui provoque une fuite ; et les épisodes réussis se sont révélés plus saccadés que les épisodes échoués, ce qui signifie que le filtre de régularité courant éliminerait de bonnes données. Sur LIBERO, où le succès peut être mesuré en simulation, corrompre délibérément 30 % des démonstrations puis les supprimer avec trois requêtes sur la table a permis d'obtenir une meilleure politique qu'un entraînement sur l'ensemble non nettoyé.

Deux points méritent d'être clairs. Le lecteur natif se trouve dans la branche principale de LeRobot mais pas encore dans une version étiquetée — la plus récente, v0.6.1, lui est antérieure — il faut donc aujourd'hui installer depuis les sources. Et l'étape qui ajoute une colonne calculée sans réécrire les données, sur laquelle repose le flux de curation, est présentée comme une fonctionnalité de LanceDB Enterprise ; le lecteur open source et le format Lance sont ce dont LeRobot dépend lui-même. Les auteurs ont publié une démo interactive qui exécute ces requêtes sur la table DROID complète.

Pourquoi c'est important

Les jeux de données d'apprentissage robotique ont dépassé l'habitude de les copier sur chaque machine d'entraînement : DROID pèse à lui seul plusieurs centaines de gigaoctets de vidéo. Lire en flux depuis le stockage objet sans perdre de débit GPU ni de qualité de brassage supprime cette étape de copie, et garder recherche, scores et embeddings sur la table même que lit l'entraîneur fait de la curation une requête plutôt qu'une chaîne d'export. Les constats d'un seul balayage de DROID — un découpage par défaut qui fuit, un filtre de qualité qui pointe dans le mauvais sens — montrent pourquoi il vaut la peine de rendre la curation bon marché.

Points clés

  • LeRobot lit désormais nativement les jeux de données stockés en tables LanceDB ; le code d'enregistrement et d'entraînement ne change pas et lerobot-train choisit seul le chargeur
  • L'entraînement peut lire en flux depuis un bucket Hugging Face ou un autre stockage objet, avec un brassage global sur chaque image et sans téléchargement
  • Sur tout DROID, une exécution distante avec LanceDB a fini en 1 h 27 contre 2 h avec une copie locale, pour une perte identique et 1,7 % du temps passé à attendre les données au lieu de 37,4 %
  • Embeddings, scores et index peuvent vivre en colonnes sur la table d'entraînement : curation et extraction deviennent des requêtes, pas des exports
  • Un balayage de DROID a révélé un découpage entraînement/validation par défaut qui fuit et un filtre de fluidité qui retire de bonnes données
  • La prise en charge est dans la branche principale de LeRobot mais pas encore dans une version étiquetée, et le remplissage de colonnes utilisé pour la curation est une fonctionnalité de LanceDB Enterprise

Côté open source

L'intégration se trouve dans LeRobot lui-même, sous sa licence Apache-2.0, fusionnée dans la branche principale le 28 août, et le format Lance qu'elle lit est open source. La frontière à surveiller est celle qui la sépare de l'offre commerciale de LanceDB : ajouter une colonne calculée sans réécrire une table — l'étape sur laquelle repose le flux de curation — est présenté comme une fonctionnalité de LanceDB Enterprise. S'entraîner sur des tables Lance et les interroger n'en dépend pas.

Technologies associées

  • LeRobot
  • LanceDB
  • Lance
  • SmolVLA
  • DROID
  • Foxglove
  • Hugging Face Storage Buckets

Liens

  • Source: https://huggingface.co/blog/CarolinePascal/how-to-train-your-robot-the-lancedb-edition

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.