LeRobot 0.7.0 ajoute des modèles monde-action, l'inférence à distance et une chaîne d'entraînement reconstruite

Source: Hugging Face (LeRobot team)
Auteur: Open Source Robotics
Publié: 2026-11-05
Catégorie: research

Hugging Face a publié LeRobot v0.7.0 le 5 novembre. Cette version intègre les rollouts interactifs à une version publiée, ajoute quatre modèles monde-action et quatre modèles vision-langage-action, reconstruit l'entraînement pour des modèles de plusieurs milliards de paramètres et permet à un robot d'exécuter sa politique sur un GPU distant. La mise à jour depuis 0.6 modifie l'installation, le suivi des expériences et les pilotes des moteurs.

LeRobot, la bibliothèque open source d'apprentissage robotique de Hugging Face, a publié la v0.7.0 le 5 novembre, trois mois après la v0.6.1. L'article de publication de l'équipe la décrit comme agissant aux deux extrémités de la vie d'une politique : l'entraînement sur des téraoctets de démonstrations sans les télécharger au préalable, et le dialogue avec le robot une fois la politique en cours d'exécution. Elle reconstruit aussi l'installation, l'entraînement, l'inférence et la couche matérielle, de sorte qu'une mise à niveau depuis la 0.6 nécessite quelques modifications (voir la dernière section).

Dialoguer avec une politique en cours d'exécution

Les déroulés interactifs, que nous avions présentés lors de leur arrivée dans la branche principale, font désormais partie d'une version publiée. Ajoutez --interactive=true à lerobot-rollout et le robot, la politique et les processeurs restent chargés : /subtask modifie l'instruction pendant que le bras bouge, /vqa demande à la politique ce qu'elle voit, et /autosteer lui donne un objectif pour qu'elle choisisse elle-même ses sous-tâches. Les deux dernières nécessitent une politique qui produit du texte, comme FineART-VLA, entraînée sur le jeu de données FineART, ou Wall-OSS-0.5, ou un modèle vision-langage externe derrière une API compatible OpenAI.

Nouveaux modèles

Quatre world action models, qui prédisent ensemble la vidéo future et les prochaines actions, rejoignent la bibliothèque :

- Cosmos 3 de NVIDIA, en taille Nano de 16,5 milliards et Edge de 4,6 milliards. L'équipe rapporte 97,90 % et 97,95 % de réussite moyenne sur LIBERO, et chacun peut être affiné entièrement ou avec LoRA. - FLUX 3 Action de Black Forest Labs. LeRobot assure l'inférence et l'affinage LoRA ; l'entraînement sur une nouvelle incarnation utilise le dépôt flux-action de Black Forest Labs. - LaWAM de l'équipe RLinf, qui apprend la dynamique dans un espace latent. - Long-WAM de l'équipe LongLive de NVIDIA, conçu pour les longs contextes.

Quatre modèles vision-langage-action arrivent également : G0.5 d'OpenGalaxea, qui écrit sa sous-tâche en cours avant ses actions ; LingBot-VLA 2.0 de Robbyant ; DM0.5 de Dexmal, porté depuis OpenDM ; et Wall-OSS-0.5 de X Square Robot.

Entraînement et données à grande échelle

- FSDP1 est remplacé par FSDP2 et le partitionnement HSDP, l'accumulation de gradients et les points de contrôle distribués. Sur un nœud 8×H200 avec un modèle de 6 milliards, l'équipe a mesuré un enregistrement des points de contrôle 3 fois plus rapide et un pic de mémoire à la reprise passant de 143 Go à 42 Go par GPU (documentation multi-GPU). - L'entraînement gagne la précision mixte FP16, une moyenne mobile optionnelle des poids (EMA) et Trackio, l'outil de suivi open source de Hugging Face, qui remplace entièrement Weights & Biases. - L'augmentation d'images peut s'exécuter sur le GPU ; l'équipe a mesuré un entraînement ACT 2,8 fois plus rapide sur un H100 et 3,3 fois sur un A100. - L'entraînement depuis le Hub sans téléchargement (notre article) et depuis des tables LanceDB (notre article) font tous deux partie de la version.

Inférence à distance, simulation et matériel

- lerobot-policy-server exécute le modèle sur une machine équipée d'un GPU, tandis qu'un ordinateur portable ou un ordinateur monocarte à côté du robot conserve les caméras, les moteurs et l'enregistrement. Le robot suit des actions mises en mémoire tampon pendant que le serveur calcule le segment suivant, via Zenoh (documentation). - Chaque simulateur passe désormais par un même cœur, dans le processus ou dans sa propre image Docker derrière lerobot-env-server, de sorte que les simulateurs ne se disputent plus les versions des dépendances. Le premier benchmark sur ce socle est RoboLab de NVIDIA, 120 tâches sur table pour le dispositif Franka de DROID sur Isaac Lab. lerobot-eval indique désormais un intervalle de confiance à 95 % avec chaque taux de réussite. - Matériel : un ou deux bras I2RT YAM ; le reBot B601 avec des moteurs RobStride ainsi que Damiao ; et l'Unitree G1 exécutant le décodeur du contrôleur du corps entier SONIC de NVIDIA, que nous avions présenté auparavant, ainsi que le G1 à 23 DDL.

Avant de mettre à jour

- Sous Linux, torch provient désormais de PyPI sous forme de build CUDA 13 qui nécessite le pilote NVIDIA 580.65 ou plus récent ; avec un pilote plus ancien, installez d'abord torch depuis un index CUDA 12 (guide d'installation). macOS nécessite la version 14 ou ultérieure. - Les options --wandb. deviennent --trackio., et les points de contrôle ne sont plus téléversés comme artefacts par défaut. - Les points de contrôle FSDP enregistrés avec la 0.6 ou une version antérieure ne peuvent pas être repris, mais leurs poids se chargent toujours. - lerobot[async] et lerobot.async_inference ont disparu ; installez lerobot[remote] à la place. - Les moteurs Feetech et Dynamixel partagent désormais un même bus basé sur rustypot. Les anciens noms de classes fonctionnent toujours comme alias obsolètes, et les fichiers d'étalonnage sont inchangés. - --policy.use_peft=true entraîne désormais LoRA ; auparavant, il lançait silencieusement un affinage complet.

Pourquoi c'est important

LeRobot est le point de rencontre de nombreuses politiques, jeux de données et bras robotiques ouverts : ce qu'il prend en charge détermine ce que la plupart des montages amateurs et de laboratoire peuvent essayer sans écrire leur propre code d'assemblage. Cette version amène les familles de modèles les plus récentes, dont les modèles monde-action, dans les mêmes commandes d'entraînement et de rollout que les politiques plus anciennes, et l'inférence à distance fait qu'un petit ordinateur embarqué ne limite plus le modèle que le robot peut exécuter. Les changements incompatibles comptent tout autant : quiconque a une installation 0.6 qui fonctionne devrait lire les notes de mise à jour avant de passer à la nouvelle version.

Points clés

LeRobot v0.7.0 est sorti le 5 novembre, trois mois après v0.6.1.
Les rollouts interactifs font désormais partie d'une version : changer l'instruction d'une politique en cours, lui demander ce qu'elle voit ou lui donner un objectif.
Quatre modèles monde-action (Cosmos 3, FLUX 3 Action, LaWAM, Long-WAM) et quatre VLA (G0.5, LingBot-VLA 2.0, DM0.5, Wall-OSS-0.5) sont pris en charge.
lerobot-policy-server exécute le modèle sur une machine équipée d'un GPU pendant que l'ordinateur du robot gère les caméras et les moteurs.
La mise à jour change l'installation (builds CUDA 13), remplace Weights & Biases par Trackio et fait passer les moteurs Feetech et Dynamixel sur un seul bus rustypot.

Côté open source

LeRobot lui-même est sous Apache-2.0, mais les modèles qu'il charge désormais relèvent de conditions différentes : LingBot-VLA 2.0 est sous Apache-2.0 et les checkpoints Cosmos 3 utilisent la licence OpenMDW 1.1, tandis que G0.5 est non commercial, que DM0.5 et FineART-VLA relèvent des conditions de Gemma et que FLUX 3 Action exige une demande d'accès sous la licence propre de Black Forest Labs, la FLUX Kommunity License. Consultez la fiche du modèle avant de bâtir sur un checkpoint.

Technologies associées

World action models
Vision-language-action models
FSDP2
Remote inference
Zenoh

Projets associés

Liens

Source: https://huggingface.co/blog/lerobot/lerobot-release-v070