GEAR-SONIC

Le contrôleur du corps entier de NVIDIA pour l'Unitree G1, entraîné à suivre n'importe quel mouvement humain

Licence

Apache 2.0

Licences distinctes. Code : Apache-2.0. Tous les poids du modèle publiés : NVIDIA Open Model License, qui autorise l'usage commercial et les modèles dérivés mais exige l'attribution et le respect des conditions Trustworthy AI de NVIDIA. BONES-SEED, le principal jeu de données d'entraînement : licence BONES-SEED, accordée uniquement aux utilisateurs universitaires à but non lucratif et aux entreprises dont le chiffre d'affaires annuel est inférieur à 1 M$ ; les autres ont besoin d'une licence commerciale de Bones Studio. Vérifié le 2026-10-16.

Aperçu

GEAR-SONIC est un contrôleur du corps entier pour robots humanoïdes issu du laboratoire GEAR de NVIDIA, publié avec son code d'entraînement, sa pile de déploiement en C++ et ses checkpoints dans le dépôt GR00T-WholeBodyControl. Plutôt que d'entraîner une politique par compétence, il entraîne une politique unique à suivre le mouvement humain, en utilisant la capture de mouvement comme supervision, puis passe à l'échelle : l'article, publié dans Science Robotics en 2026, fait passer le réseau de 1.2M à 42M paramètres sur plus de 100M d'images issues de 700 heures de capture de mouvement. Le résultat marche, court, s'agenouille, rampe et se relève sur un Unitree G1. Chaque entrée, qu'il s'agisse d'un planificateur cinématique piloté au clavier ou à la manette, d'un casque VR ou d'un modèle vision-langage-action, est convertie en mêmes tokens de mouvement, si bien qu'un seul contrôleur les sert toutes. L'entraînement tourne dans Isaac Lab, les vérifications en simulation dans MuJoCo, et le déploiement sur le Jetson Orin embarqué du G1 avec TensorRT. Le code est sous Apache-2.0 ; les poids sont sous NVIDIA Open Model License.

SONIC traite le contrôle humanoïde comme un problème de suivi de mouvement. Pendant l'entraînement, la politique reçoit une courte fenêtre d'un mouvement de référence, un clip humain reciblé sur le robot, et elle est récompensée lorsqu'elle le suit en simulation. Comme les cibles proviennent de la capture de mouvement et non de récompenses écrites à la main, ajouter une compétence revient à ajouter des données. Plusieurs encodeurs projettent différents types de référence, trajectoires articulaires du robot, poses humaines SMPL ou points clés de téléopération VR, vers un token partagé de 64 dimensions, et un seul décodeur transforme ce token en consignes pour les 29 articulations du G1 à 50 Hz.

Le dépôt couvre toute la chaîne. Le paquet gear_sonic entraîne avec PPO dans Isaac Lab, soit à partir de zéro sur le jeu de données de mouvement BONES-SEED (142 000 mouvements, environ 288 heures, déjà reciblés sur le G1), soit par fine-tuning du checkpoint publié. Les auteurs recommandent 64 GPU ou plus pour un entraînement à partir de zéro ; un seul nœud de 8 GPU fonctionne, mais beaucoup plus lentement. Le paquet gear_sonic_deploy est une pile C++ qui exécute les modèles ONNX exportés via TensorRT sur un GPU de bureau ou sur le Jetson AGX Orin ou le Thor du robot, avec un mode sim-to-sim dans MuJoCo pour essayer une politique avant qu'elle ne touche le matériel. Un guide explique comment ajouter un autre robot, avec l'Unitree H2 comme exemple détaillé.

Au-dessus du contrôleur viennent les différentes façons de le piloter. Un planificateur cinématique génère marche, course, accroupissement et reptation dans plusieurs styles à partir de commandes au clavier ou à la manette. Un casque PICO VR, ou IsaacTeleop de NVIDIA, transmet en continu le corps entier de l'opérateur pour la téléopération et la collecte de données. Un workflow documenté collecte des démonstrations téléopérées, affine GR00T N1.7 sur celles-ci et exécute le résultat avec SONIC en dessous : le modèle de langage décide quoi faire et SONIC gère l'équilibre.

Trois checkpoints pour le G1 sont publiés sur Hugging Face : le contrôleur d'origine, un modèle de téléopération à faible latence qui anticipe 80 ms au lieu de 200 ms, et SONIC v1.1, entraîné avec une augmentation de la pose du poignet pour une téléopération plus stable. Le même dépôt héberge aussi le précédent Decoupled WBC de NVIDIA, utilisé sous GR00T N1.5 et N1.6, ainsi qu'un aperçu de MotionBricks, un générateur de mouvement en temps réel.

Pourquoi c'est important

La plupart des contrôleurs humanoïdes sont de petites politiques entraînées pour une poignée de comportements, chacun avec ses propres termes de récompense. SONIC est à ce jour la preuve ouverte la plus nette que la recette de mise à l'échelle des modèles de langage et de vision fonctionne aussi pour le contrôle bas niveau des humanoïdes : davantage de données de mouvement, un réseau plus grand et plus de calcul ont donné un suivi toujours meilleur et une meilleure gestion des mouvements que la politique n'avait jamais vus. Comme il est publié de bout en bout, avec le code d'entraînement, une pile de déploiement sur robot réel et des outils de téléopération, un laboratoire équipé d'un Unitree G1 peut l'utiliser comme couche motrice sous son propre planificateur ou VLA au lieu de développer la locomotion à partir de zéro.

Le problème résolu

Faire bouger un humanoïde naturellement à travers de nombreux comportements implique normalement de concevoir un contrôleur ou une récompense distincts pour chaque compétence, et ces contrôleurs ne partagent pas d'interface : un planificateur, un téléopérateur et une politique apprise ont chacun besoin du leur. SONIC les remplace par une politique unique de suivi de mouvement entraînée sur de la capture de mouvement à grande échelle, et donne à tout type de commande une même interface de tokens vers cette politique.

Points clés

• Une seule politique suit le mouvement humain sur les 29 articulations de l'Unitree G1 à 50 Hz : marche, course, agenouillement, reptation et relevé
• L'article fait passer le réseau de 1.2M à 42M paramètres sur 700 heures de capture de mouvement et constate que le suivi continue de s'améliorer avec les données et le calcul
• Un planificateur cinématique, un casque VR et un modèle VLA le pilotent tous via les mêmes tokens de mouvement de 64 dimensions
• Publié de bout en bout : entraînement dans Isaac Lab, pile de déploiement C++ TensorRT pour le Jetson du G1, vérifications sim-to-sim dans MuJoCo et téléopération VR
• Trois checkpoints sur Hugging Face : le contrôleur d'origine, un modèle de téléopération à faible latence et SONIC v1.1
• Le code est sous Apache-2.0 et les poids sous NVIDIA Open Model License, qui autorise l'usage commercial ; les données d'entraînement BONES-SEED ont leur propre licence, plus restrictive

Pour qui

• Laboratoires et entreprises disposant d'un Unitree G1 qui veulent un contrôleur du corps entier généraliste plutôt que des politiques par compétence
• Chercheurs qui entraînent des contrôleurs humanoïdes à partir de capture de mouvement et veulent partir d'une base de référence déjà mise à l'échelle
• Équipes qui collectent des données de téléopération humanoïde ou font tourner un VLA ayant besoin d'une couche motrice bas niveau
• Chercheurs qui portent un contrôleur de suivi de mouvement vers un autre humanoïde

Limites

• Les checkpoints publiés ne concernent que l'Unitree G1 ; les autres robots nécessitent des données de mouvement reciblées et un entraînement complet, documenté avec le H2 comme exemple
• L'entraînement à partir de zéro relève du cluster : les auteurs recommandent 64 GPU ou plus, et l'environnement d'entraînement Isaac Lab exige un GPU compatible CUDA 12 (L40 recommandé)
• Le déploiement requiert une version précise de TensorRT selon la plateforme et, sur l'Orin embarqué du G1, un reflashage vers JetPack 6
• Les données d'entraînement BONES-SEED ne sont concédées qu'aux utilisateurs académiques et aux entreprises dont le chiffre d'affaires annuel est inférieur à $1M ; tous les autres ont besoin d'une licence commerciale pour réentraîner avec
• L'utilisation sur robot réel comporte les risques habituels des humanoïdes : la documentation demande une zone de sécurité dégagée et un opérateur prêt à arrêter le robot