GEAR-SONIC

Il controller del corpo intero di NVIDIA per l'Unitree G1, addestrato a seguire qualsiasi movimento umano

Licenza

Apache 2.0

Licenze separate. Codice: Apache-2.0. Tutti i pesi dei modelli rilasciati: NVIDIA Open Model License, che consente l'uso commerciale e i modelli derivati ma richiede l'attribuzione e il rispetto dei termini Trustworthy AI di NVIDIA. BONES-SEED, il principale dataset di addestramento: licenza BONES-SEED, concessa solo a utenti accademici senza scopo di lucro e ad aziende con meno di 1 milione di dollari di fatturato annuo; gli altri hanno bisogno di una licenza commerciale di Bones Studio. Verificato il 2026-10-16.

Panoramica

GEAR-SONIC è un controller del corpo intero per robot umanoidi del laboratorio GEAR di NVIDIA, rilasciato con il codice di addestramento, lo stack di deployment in C++ e i checkpoint nel repository GR00T-WholeBodyControl. Invece di addestrare una policy per ogni abilità, addestra un'unica policy a seguire il movimento umano, usando il motion capture come supervisione, e la scala: l'articolo, pubblicato su Science Robotics nel 2026, fa crescere la rete da 1,2 a 42 milioni di parametri su oltre 100 milioni di fotogrammi tratti da 700 ore di motion capture. Il risultato cammina, corre, si inginocchia, striscia e si rialza su un Unitree G1. Ogni input, che sia un pianificatore cinematico guidato da tastiera o gamepad, un visore VR o un modello Vision-Language-Action (VLA), viene trasformato negli stessi token di movimento, così un solo controller li serve tutti. L'addestramento gira in Isaac Lab, le verifiche in simulazione in MuJoCo e il deployment sul Jetson Orin di bordo del G1 con TensorRT. Il codice è Apache-2.0; i pesi sono sotto la NVIDIA Open Model License.

SONIC tratta il controllo degli umanoidi come tracciamento del movimento. Durante l'addestramento, alla policy viene mostrata una breve finestra di un movimento di riferimento, una clip umana adattata al robot tramite retargeting del movimento, e viene premiata se la segue in simulazione. Poiché gli obiettivi provengono dal motion capture e non da ricompense scritte a mano, aggiungere un'abilità significa aggiungere dati. Diversi encoder mappano tipi diversi di riferimento, traiettorie dei giunti del robot, pose umane SMPL o punti chiave della teleoperazione VR, in un token condiviso a 64 dimensioni, e un solo decoder trasforma quel token in obiettivi per i 29 giunti del G1 a 50 Hz.

Il repository copre l'intero percorso. Il pacchetto gear_sonic addestra con PPO in Isaac Lab, o da zero sul dataset di movimenti BONES-SEED (142.000 movimenti, circa 288 ore, già adattati al G1) o con il fine-tuning del checkpoint rilasciato. Gli autori consigliano 64 o più GPU per l'addestramento da zero; un singolo nodo da 8 GPU funziona ma è molto più lento. Il pacchetto gear_sonic_deploy è uno stack C++ che esegue i modelli ONNX esportati tramite TensorRT su una GPU desktop o sul Jetson AGX Orin o Thor del robot, con una modalità sim-to-sim in MuJoCo per provare una policy prima che tocchi l'hardware. Una guida spiega come aggiungere un altro robot, con l'Unitree H2 come esempio svolto.

Sopra il controller ci sono i modi per comandarlo. Un pianificatore cinematico genera camminata, corsa, accovacciamento e strisciamento in diversi stili a partire da comandi da tastiera o gamepad. Un visore PICO VR, o IsaacTeleop di NVIDIA, trasmette l'intero corpo dell'operatore per la teleoperazione e la raccolta dati. Un flusso di lavoro documentato raccoglie dimostrazioni in teleoperazione, esegue il fine-tuning di GR00T N1.7 su di esse e fa girare il risultato con SONIC sotto, così il modello linguistico decide cosa fare e SONIC gestisce l'equilibrio.

Su Hugging Face sono rilasciati tre checkpoint per il G1: il controller originale, un modello di teleoperazione a bassa latenza che guarda 80 ms avanti invece di 200 ms, e SONIC v1.1, addestrato con augmentation della posa del polso per una teleoperazione più stabile. Lo stesso repository ospita anche il precedente Decoupled WBC di NVIDIA, usato sotto GR00T N1.5 e N1.6, e un'anteprima di MotionBricks, un generatore di movimento in tempo reale.

Perché è importante

La maggior parte dei controller per umanoidi sono piccole policy addestrate per una manciata di comportamenti, ciascuno con i propri termini di ricompensa. SONIC è finora la prova aperta più chiara che la ricetta di scalabilità dietro i modelli linguistici e visivi funziona anche per il controllo di basso livello degli umanoidi: più dati di movimento, una rete più grande e più calcolo hanno dato un tracciamento costantemente migliore e una gestione migliore di movimenti che la policy non aveva mai visto. Poiché è rilasciato da un capo all'altro, con codice di addestramento, uno stack di deployment per il robot reale e strumenti di teleoperazione, un laboratorio con un Unitree G1 può usarlo come strato motorio sotto il proprio pianificatore o modello VLA invece di costruire la locomozione da zero.

Il problema che risolve

Far muovere un umanoide in modo naturale in molti comportamenti di norma significa progettare un controller o una ricompensa separati per ogni abilità, e quei controller non condividono un'interfaccia, quindi un pianificatore, un teleoperatore e una policy appresa ne richiedono ciascuno una propria. SONIC li sostituisce con un'unica policy di tracciamento del movimento addestrata su motion capture su larga scala, e dà a ogni tipo di comando un'unica interfaccia a token verso quella policy.

Punti chiave

• Un'unica policy segue il movimento umano per i 29 giunti dell'Unitree G1 a 50 Hz, coprendo camminata, corsa, inginocchiamento, strisciamento e rialzata
• L'articolo scala la rete da 1,2 a 42 milioni di parametri su 700 ore di motion capture e rileva che il tracciamento continua a migliorare con dati e calcolo
• Un pianificatore cinematico, un visore VR e un modello VLA lo comandano tutti tramite gli stessi token di movimento a 64 dimensioni
• Rilasciato da un capo all'altro: addestramento in Isaac Lab, uno stack di deployment C++ con TensorRT per il Jetson del G1, verifiche sim-to-sim in MuJoCo e teleoperazione VR
• Tre checkpoint su Hugging Face: il controller originale, un modello di teleoperazione a bassa latenza e SONIC v1.1
• Il codice è Apache-2.0 e i pesi sono sotto la NVIDIA Open Model License, che consente l'uso commerciale; i dati di addestramento BONES-SEED hanno una licenza propria, più restrittiva

A chi si rivolge

• Laboratori e aziende con un Unitree G1 che vogliono un controller del corpo intero generale anziché policy per singola abilità
• Ricercatori che addestrano controller per umanoidi dal motion capture e vogliono una baseline già scalata da cui partire
• Team che raccolgono dati di teleoperazione di umanoidi o eseguono un modello VLA che ha bisogno di uno strato motorio di basso livello
• Ricercatori che portano un controller di tracciamento del movimento su un altro umanoide

Limiti

• I checkpoint rilasciati sono solo per l'Unitree G1; altri robot richiedono dati di movimento adattati tramite retargeting e un addestramento completo, documentato con l'H2 come esempio
• L'addestramento da zero è un lavoro da cluster: gli autori consigliano 64 o più GPU, e l'ambiente di addestramento Isaac Lab richiede una GPU CUDA 12 (consigliata la L40)
• Il deployment richiede TensorRT in una versione specifica per ogni piattaforma e, sull'Orin di bordo del G1, il reflash a JetPack 6
• I dati di addestramento BONES-SEED sono concessi in licenza solo a utenti accademici e ad aziende con meno di 1 milione di dollari di fatturato annuo; chiunque altro ha bisogno di una licenza commerciale per riaddestrare su di essi
• L'uso sul robot reale comporta i rischi abituali degli umanoidi: la documentazione richiede una zona di sicurezza sgombra e un operatore pronto a fermare il robot