GEAR-SONIC

NVIDIAs Ganzkörper-Steuerung für den Unitree G1, trainiert auf das Nachführen beliebiger menschlicher Bewegungen

Lizenz

Apache 2.0

Geteilte Lizenzierung. Code: Apache-2.0. Alle veröffentlichten Modellgewichte: NVIDIA Open Model License, die kommerzielle Nutzung und abgeleitete Modelle erlaubt, aber Namensnennung und die Einhaltung von NVIDIAs Trustworthy-AI-Bedingungen verlangt. BONES-SEED, der wichtigste Trainingsdatensatz: BONES-SEED-Lizenz, die nur gemeinnützigen akademischen Nutzern und Unternehmen mit weniger als 1 Mio. USD Jahresumsatz gewährt wird; alle anderen benötigen eine kommerzielle Lizenz von Bones Studio. Geprüft am 2026-10-16.

Überblick

GEAR-SONIC ist eine Ganzkörper-Steuerung für humanoide Roboter aus NVIDIAs GEAR-Labor, veröffentlicht mitsamt Trainingscode, C++-Deployment-Stack und Checkpoints im Repository GR00T-WholeBodyControl. Statt für jede Fähigkeit eine eigene Policy zu trainieren, lernt eine einzige Policy, menschliche Bewegungen nachzuführen, mit Motion Capture als Supervision, und dieser Ansatz wird skaliert: Das 2026 in Science Robotics veröffentlichte Paper vergrößert das Netz von 1.2M auf 42M Parameter, trainiert auf mehr als 100M Frames aus 700 Stunden Motion Capture. Das Ergebnis geht, rennt, kniet, krabbelt und steht wieder auf, und zwar auf einem Unitree G1. Jede Eingabe, ob ein per Tastatur oder Gamepad gelenkter kinematischer Planer, ein VR-Headset oder ein Vision-Language-Action-Modell, wird in dieselben Motion-Tokens übersetzt, sodass eine einzige Steuerung sie alle bedient. Das Training läuft in Isaac Lab, Simulationstests in MuJoCo, und das Deployment läuft mit TensorRT auf dem Jetson Orin an Bord des G1. Der Code steht unter Apache-2.0, die Gewichte unter der NVIDIA Open Model License.

SONIC versteht die Steuerung humanoider Roboter als Bewegungsnachführung. Im Training sieht die Policy ein kurzes Fenster einer Referenzbewegung, also eines auf den Roboter retargeteten menschlichen Clips, und wird in der Simulation dafür belohnt, ihr zu folgen. Da die Zielvorgaben aus Motion Capture stammen statt aus handgeschriebenen Rewards, heißt eine neue Fähigkeit hinzuzufügen schlicht, Daten hinzuzufügen. Mehrere Encoder bilden unterschiedliche Referenzarten, nämlich Gelenktrajektorien des Roboters, menschliche SMPL-Posen oder Keypoints aus der VR-Teleoperation, auf einen gemeinsamen 64-dimensionalen Token ab, und ein Decoder wandelt diesen Token mit 50 Hz in Sollwerte für die 29 Gelenke des G1 um.

Das Repository deckt den gesamten Weg ab. Das Paket gear_sonic trainiert mit PPO in Isaac Lab, entweder von Grund auf mit dem Bewegungsdatensatz BONES-SEED (142.000 Bewegungen, etwa 288 Stunden, bereits auf den G1 retargetet) oder durch Fine-Tuning des veröffentlichten Checkpoints. Für das Training von Grund auf empfehlen die Autoren 64 oder mehr GPUs; ein einzelner 8-GPU-Knoten funktioniert, ist aber deutlich langsamer. Das Paket gear_sonic_deploy ist ein C++-Stack, der die exportierten ONNX-Modelle über TensorRT auf einer Desktop-GPU oder auf dem Jetson AGX Orin oder Thor des Roboters ausführt, inklusive eines MuJoCo-Sim-to-Sim-Modus, um eine Policy zu erproben, bevor sie die Hardware berührt. Eine Anleitung beschreibt die Anpassung an weitere Roboter, mit dem Unitree H2 als durchgearbeitetem Beispiel.

Auf der Steuerung setzen die verschiedenen Wege auf, sie anzusteuern. Ein kinematischer Planer erzeugt aus Tastatur- oder Gamepad-Befehlen Gehen, Rennen, Kauern und Krabbeln in mehreren Stilen. Ein PICO-VR-Headset oder NVIDIAs IsaacTeleop überträgt den ganzen Körper des Bedieners für Teleoperation und Datenerfassung. Ein dokumentierter Workflow sammelt teleoperierte Demonstrationen, führt damit ein Fine-Tuning von GR00T N1.7 durch und betreibt das Ergebnis mit SONIC als Unterbau: Das Sprachmodell entscheidet, was zu tun ist, SONIC hält das Gleichgewicht.

Auf Hugging Face sind drei G1-Checkpoints veröffentlicht: die ursprüngliche Steuerung, ein Teleoperationsmodell mit niedriger Latenz, das 80 ms statt 200 ms vorausschaut, und SONIC v1.1, trainiert mit Augmentierung der Handgelenkpose für stabilere Teleoperation. Dasselbe Repository enthält außerdem NVIDIAs früheres Decoupled WBC, das unter GR00T N1.5 und N1.6 zum Einsatz kam, sowie eine Vorschau auf MotionBricks, einen Echtzeit-Bewegungsgenerator.

Warum es wichtig ist

Die meisten Steuerungen für humanoide Roboter sind kleine Policies, die für eine Handvoll Verhaltensweisen trainiert sind, jede mit eigenen Reward-Termen. SONIC ist der bislang deutlichste offene Beleg dafür, dass das Skalierungsrezept hinter Sprach- und Bildmodellen auch für die Low-Level-Steuerung humanoider Roboter funktioniert: Mehr Bewegungsdaten, ein größeres Netz und mehr Rechenleistung führten zu stetig besserer Nachführung und besserem Umgang mit Bewegungen, die die Policy nie gesehen hatte. Weil es durchgängig veröffentlicht ist, mit Trainingscode, einem Deployment-Stack für echte Roboter und Teleoperations-Werkzeugen, kann ein Labor mit einem Unitree G1 es als motorische Schicht unter dem eigenen Planer oder VLA einsetzen, statt die Fortbewegung von Grund auf neu zu entwickeln.

Welches Problem es löst

Damit sich ein humanoider Roboter über viele Verhaltensweisen hinweg natürlich bewegt, muss normalerweise für jede Fähigkeit eine eigene Steuerung oder ein eigener Reward entworfen werden, und diese Steuerungen teilen keine Schnittstelle, sodass Planer, Teleoperator und gelernte Policy jeweils eine eigene brauchen. SONIC ersetzt sie durch eine einzige, auf umfangreichen Motion-Capture-Daten trainierte Policy zur Bewegungsnachführung und gibt jeder Art von Befehl eine einheitliche Token-Schnittstelle zu dieser Policy.

Wichtigste Punkte

• Eine einzige Policy führt menschliche Bewegungen für die 29 Gelenke des Unitree G1 mit 50 Hz nach und deckt Gehen, Rennen, Knien, Krabbeln und Aufstehen ab
• Das Paper skaliert das Netz mit 700 Stunden Motion Capture von 1.2M auf 42M Parameter und zeigt, dass die Nachführung mit mehr Daten und Rechenleistung immer besser wird
• Ein kinematischer Planer, ein VR-Headset und ein VLA-Modell steuern es alle über dieselben 64-dimensionalen Motion-Tokens an
• Durchgängig veröffentlicht: Training in Isaac Lab, ein C++-TensorRT-Deployment-Stack für den Jetson des G1, MuJoCo-Sim-to-Sim-Tests und VR-Teleoperation
• Drei Checkpoints auf Hugging Face: die ursprüngliche Steuerung, ein Teleoperationsmodell mit niedriger Latenz und SONIC v1.1
• Der Code steht unter Apache-2.0, die Gewichte unter der NVIDIA Open Model License, die kommerzielle Nutzung erlaubt; die Trainingsdaten von BONES-SEED haben eine eigene, engere Lizenz

Für wen

• Labore und Unternehmen mit einem Unitree G1, die statt Policies pro Fähigkeit eine allgemeine Ganzkörper-Steuerung wollen
• Forschende, die Steuerungen für humanoide Roboter aus Motion Capture trainieren und von einer skalierten Baseline ausgehen möchten
• Teams, die Teleoperationsdaten für humanoide Roboter sammeln oder ein VLA betreiben, das eine motorische Low-Level-Schicht braucht
• Forschende, die eine Steuerung zur Bewegungsnachführung auf einen anderen humanoiden Roboter portieren

Einschränkungen

• Die veröffentlichten Checkpoints gelten nur für den Unitree G1; andere Roboter brauchen retargetete Bewegungsdaten und einen vollständigen Trainingslauf, dokumentiert am Beispiel des H2
• Training von Grund auf ist ein Fall für einen Cluster: Die Autoren empfehlen 64 oder mehr GPUs, und die Trainingsumgebung von Isaac Lab benötigt eine GPU mit CUDA 12 (L40 empfohlen)
• Das Deployment erfordert TensorRT in einer plattformspezifischen Version und auf dem Orin an Bord des G1 ein Neuflashen auf JetPack 6
• Die Trainingsdaten von BONES-SEED sind nur für akademische Nutzer und Unternehmen mit weniger als $1M Jahresumsatz lizenziert; alle anderen brauchen eine kommerzielle Lizenz, um damit neu zu trainieren
• Der Einsatz am echten Roboter birgt die üblichen Risiken humanoider Roboter: Die Dokumentation verlangt eine freie Sicherheitszone und einen Bediener, der jederzeit bereit ist, den Roboter zu stoppen