Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

LeRobot pilote désormais l'humanoïde Unitree G1 via un VLA et un contrôleur corps entier

  • Source: Hugging Face LeRobot team
  • Auteur: Open Source Robotics
  • Publié: 2026-09-25
  • Catégorie: business

L'équipe LeRobot a publié un flux de travail complet pour l'humanoïde Unitree G1. Une politique π0.5 prédit des jetons de mouvement que le contrôleur SONIC de NVIDIA transforme en mouvement corps entier équilibré ; le dispositif de téléopération, le matériel imprimable, le jeu de données et les poids sont tous publiés. Le chemin SONIC est sur la branche principale de LeRobot, pas encore dans une version.

LeRobot peut désormais exécuter une politique apprise sur un humanoïde de taille réelle. Dans un billet du 25 septembre, l'équipe LeRobot de Hugging Face montre toute la chaîne sur un Unitree G1 : téléopération du corps entier, un jeu de données, un modèle vision-langage-action affiné, et un contrôleur qui maintient debout un bipède à 29 articulations pendant que le modèle décide quoi faire.

La conception répond à un problème que les bras n'ont jamais eu. Un VLA est bien trop lent pour équilibrer seul un robot qui marche, alors LeRobot place un contrôleur rapide entre les deux. La politique est le π0.5 d'OpenPI, et elle prédit un jeton de mouvement compact à 64 dimensions plutôt que des angles articulaires. Le décodeur de SONIC de NVIDIA, qui fait partie de GR00T-WholeBodyControl, transforme chaque jeton et l'état récent du corps en consignes articulaires à 50 Hz sur le robot. La recette suit l'article OpenHLM, avec un changement : LeRobot entraîne le VLA directement sur le jeton latent. Le décodeur SONIC a été fusionné dans LeRobot le 17 août, sous forme de réimplémentation ONNX en Python pur.

La tâche de démonstration consiste à porter une canette jusqu'à une table. Son jeu de données compte environ 100 épisodes, soit à peu près 71 minutes de téléopération en réalité virtuelle avec trois caméras. π0.5 a été affiné dessus pendant 12 000 pas sur quatre H100, et la politique obtenue est publique. Le robot lui-même est modifié : des pinces OpenArm sur des adaptateurs de poignet imprimés, une caméra sur la tête et un sac à dos imprimé pour l'adaptateur CAN-FD et le câblage. Les pièces imprimables sont aussi publiées.

Le billet couvre aussi une seconde expérience et le reste de la pile. L'équipe a entraîné un adaptateur LoRA sur SONIC dans mjlab avec PPO, pour que le G1 esquive des balles lancées grâce à la profondeur de sa caméra de tête. Cela s'inspire de ViBE. En simulation, il a esquivé 79,1 % des lancers, contre 0 % avec l'entrée de profondeur masquée. L'équipe précise clairement qu'il s'agit d'un chiffre de simulation et que la vidéo sur matériel est une démonstration, pas une évaluation. Le G1 peut aussi être piloté via le contrôle corps entier de GR00T ou via Holosoma d'Amazon FAR. Il dispose d'une simulation MuJoCo et d'une IK de bras, et le gant et l'exosquelette Homunculus de l'équipe enregistrent la téléopération directement à partir du mouvement des articulations. Ces dispositifs avaient d'abord été construits pour HOPEJr.

Un point à clarifier. La prise en charge du G1 figure dans les versions de LeRobot depuis des mois, mais le décodeur SONIC a été fusionné après la v0.6.1, la dernière version étiquetée. Pour utiliser le flux décrit ici, il faut installer LeRobot depuis les sources, et la documentation G1 est rédigée pour la branche principale. L'équipe indique que le prochain humanoïde pris en charge sera Asimov, le robot open source de Menlo Research.

Pourquoi c'est important

Les humanoïdes sont là où l'apprentissage robotique concentre ses efforts, et jusqu'ici l'outillage ouvert s'arrêtait surtout aux bras. Sur un bipède, la difficulté n'est pas le modèle mais de le garder debout pendant que le modèle réfléchit. Répartir le travail entre une politique lente et un contrôleur corps entier rapide, et publier chaque maillon de la chaîne, donne à quiconque possède un G1 un point de départ reproductible. Cela permet aussi d'entraîner une politique de niveau tâche à partir d'une centaine de démonstrations, sans réapprendre l'équilibre de zéro.

Points clés

  • LeRobot exécute une politique π0.5 sur l'Unitree G1 en lui faisant prédire les jetons de mouvement 64-D de SONIC, qu'un décodeur rapide embarqué transforme en consignes pour 29 degrés de liberté à 50 Hz
  • Le décodeur SONIC est un portage ONNX en Python pur fusionné dans LeRobot le 17 août ; il est sur la branche principale mais pas dans la v0.6.1, la dernière version
  • La politique d'exemple pour porter une canette a été entraînée sur environ 100 épisodes de téléopération VR du corps entier (environ 71 minutes) ; jeu de données et poids sont publics
  • Des modifications imprimables du G1 sont publiées : adaptateurs de poignet pour pinces OpenArm, support de caméra de tête et boîtier dorsal pour l'adaptateur CAN-FD
  • Un adaptateur d'esquive de balles basé sur la profondeur, entraîné dans mjlab, a esquivé 79,1 % des lancers en simulation ; les auteurs précisent qu'il n'a pas de taux de réussite mesuré sur matériel
  • Le G1 peut aussi être piloté via le contrôle corps entier de GR00T ou via Holosoma, avec simulation MuJoCo, IK de bras et état proprioceptif complet
  • Asimov, l'humanoïde open source de Menlo Research, est désigné comme le prochain robot pris en charge

Côté open source

Tout ce que décrit le billet est publié : le décodeur SONIC et l'intégration G1 dans LeRobot sous Apache-2.0, le jeu de données de téléopération, les poids de la politique affinée, les modifications matérielles imprimables et les conceptions du gant et de l'exosquelette Homunculus. Ce qui n'est pas ouvert, c'est le robot. L'Unitree G1 est un humanoïde commercial : le flux de travail est donc du logiciel ouvert sur du matériel fermé, et le billet désigne Asimov comme l'humanoïde ouvert qui sera pris en charge ensuite.

Technologies associées

  • LeRobot
  • Unitree G1
  • OpenPI
  • SONIC
  • GR00T-WholeBodyControl
  • OpenHLM
  • Holosoma
  • mjlab
  • OpenArm
  • MuJoCo

Projets associés

  • LeRobot
  • OpenPI
  • OpenArm
  • mjlab
  • NVIDIA Isaac GR00T
  • Holosoma
  • HOPEJr
  • Asimov v1

Liens

  • Source: https://huggingface.co/blog/nepyope/bringing-humanoids-to-lerobot

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.