GEAR-SONIC

Controlador de corpo inteiro da NVIDIA para o Unitree G1, treinado para rastrear qualquer movimento humano

Licença

Apache 2.0

Licenciamento dividido. Código: Apache-2.0. Todos os pesos do modelo publicados: NVIDIA Open Model License, que permite uso comercial e modelos derivados, mas exige atribuição e conformidade com os termos de Trustworthy AI da NVIDIA. BONES-SEED, o principal conjunto de dados de treinamento: licença BONES-SEED, concedida somente a usuários acadêmicos sem fins lucrativos e a empresas com receita anual inferior a US$ 1 milhão; os demais precisam de uma licença comercial da Bones Studio. Verificado em 2026-10-16.

Visão geral

GEAR-SONIC é um controlador de corpo inteiro para robôs humanoides do laboratório GEAR da NVIDIA, lançado com código de treinamento, stack de implantação em C++ e checkpoints no repositório GR00T-WholeBodyControl. Em vez de treinar uma política por habilidade, ele treina uma única política para rastrear o movimento humano, usando captura de movimento como supervisão, e escala essa abordagem: o artigo, publicado na Science Robotics em 2026, aumenta a rede de 1.2M para 42M parâmetros com mais de 100M quadros de 700 horas de captura de movimento. O resultado anda, corre, ajoelha, engatinha e se levanta em um Unitree G1. Toda entrada, seja um planejador cinemático comandado por teclado ou gamepad, um headset de VR ou um modelo de visão-linguagem-ação, é convertida nos mesmos tokens de movimento, de modo que um único controlador atende a todas. O treinamento roda no Isaac Lab, as verificações em simulação no MuJoCo e a implantação no Jetson Orin embarcado do G1, com TensorRT. O código é Apache-2.0; os pesos estão sob a NVIDIA Open Model License.

O SONIC trata o controle de um robô humanoide como rastreamento de movimento. Durante o treinamento, a política recebe uma janela curta de um movimento de referência, um clipe humano redirecionado (retargeting) para o robô, e é recompensada por segui-lo na simulação. Como os alvos vêm da captura de movimento e não de recompensas escritas à mão, adicionar uma habilidade significa adicionar dados. Vários codificadores mapeiam diferentes tipos de referência, sejam trajetórias das juntas do robô, poses humanas SMPL ou pontos-chave de teleoperação em VR, para um token compartilhado de 64 dimensões, e um único decodificador converte esse token em alvos para as 29 juntas do G1 a 50 Hz.

O repositório cobre todo o caminho. O pacote gear_sonic treina com PPO no Isaac Lab, seja do zero no conjunto de dados de movimento BONES-SEED (142.000 movimentos, cerca de 288 horas, já redirecionados para o G1), seja fazendo fine-tuning do checkpoint publicado. Os autores recomendam 64 GPUs ou mais para treinar do zero; um único nó de 8 GPUs funciona, mas é bem mais lento. O pacote gear_sonic_deploy é uma stack em C++ que executa os modelos ONNX exportados via TensorRT em uma GPU de desktop ou no Jetson AGX Orin ou Thor do robô, com um modo sim-to-sim no MuJoCo para testar uma política antes que ela chegue ao hardware. Um guia explica como adicionar outro robô, usando o Unitree H2 como exemplo completo.

Sobre o controlador ficam as formas de comandá-lo. Um planejador cinemático gera caminhada, corrida, agachamento e engatinhamento em vários estilos a partir de comandos de teclado ou gamepad. Um headset PICO VR, ou o IsaacTeleop da NVIDIA, transmite o corpo inteiro do operador para teleoperação e coleta de dados. Um fluxo de trabalho documentado coleta demonstrações teleoperadas, faz fine-tuning do GR00T N1.7 com elas e executa o resultado com o SONIC por baixo, de modo que o modelo de linguagem decide o que fazer e o SONIC cuida do equilíbrio.

Três checkpoints para o G1 estão publicados no Hugging Face: o controlador original, um modelo de teleoperação de baixa latência que olha 80 ms à frente em vez de 200 ms, e o SONIC v1.1, treinado com aumento de dados da pose do punho para uma teleoperação mais estável. O mesmo repositório também hospeda o Decoupled WBC, controlador anterior da NVIDIA usado sob o GR00T N1.5 e o N1.6, e uma prévia do MotionBricks, um gerador de movimento em tempo real.

Por que importa

A maioria dos controladores para robô humanoide são políticas pequenas treinadas para um punhado de comportamentos, cada um com seus próprios termos de recompensa. O SONIC é até agora a evidência aberta mais clara de que a receita de escala por trás dos modelos de linguagem e visão também funciona para o controle de baixo nível de robôs humanoides: mais dados de movimento, uma rede maior e mais computação trouxeram um rastreamento cada vez melhor e um tratamento melhor de movimentos que a política nunca tinha visto. Como é lançado de ponta a ponta, com código de treinamento, uma stack de implantação para o robô real e ferramentas de teleoperação, um laboratório com um Unitree G1 pode usá-lo como camada motora sob seu próprio planejador ou VLA, em vez de construir a locomoção do zero.

Problema que resolve

Fazer um robô humanoide se mover com naturalidade em muitos comportamentos normalmente exige projetar um controlador ou uma recompensa separados para cada habilidade, e esses controladores não compartilham uma interface, então um planejador, um teleoperador e uma política aprendida precisam cada um do seu. O SONIC os substitui por uma única política de rastreamento de movimento treinada com captura de movimento em grande escala, e oferece a todo tipo de comando uma mesma interface de tokens para essa política.

Pontos principais

• Uma única política rastreia o movimento humano nas 29 juntas do Unitree G1 a 50 Hz, cobrindo andar, correr, ajoelhar, engatinhar e levantar
• O artigo escala a rede de 1.2M para 42M parâmetros com 700 horas de captura de movimento e constata que o rastreamento continua melhorando com mais dados e computação
• Um planejador cinemático, um headset de VR e um modelo VLA o comandam por meio dos mesmos tokens de movimento de 64 dimensões
• Lançado de ponta a ponta: treinamento no Isaac Lab, stack de implantação em C++ com TensorRT para o Jetson do G1, verificações sim-to-sim no MuJoCo e teleoperação em VR
• Três checkpoints no Hugging Face: o controlador original, um modelo de teleoperação de baixa latência e o SONIC v1.1
• O código é Apache-2.0 e os pesos estão sob a NVIDIA Open Model License, que permite uso comercial; os dados de treinamento BONES-SEED têm uma licença própria, mais restrita

Para quem é

• Laboratórios e empresas com um Unitree G1 que querem um controlador de corpo inteiro geral em vez de políticas por habilidade
• Pesquisadores que treinam controladores para robô humanoide a partir de captura de movimento e querem partir de uma base já escalada
• Equipes que coletam dados de teleoperação de robô humanoide ou rodam um VLA que precisa de uma camada motora de baixo nível
• Pesquisadores que portam um controlador de rastreamento de movimento para outro robô humanoide

Limitações

• Os checkpoints publicados são apenas para o Unitree G1; outros robôs precisam de dados de movimento redirecionados e de um treinamento completo, documentado com o H2 como exemplo
• Treinar do zero é trabalho para cluster: os autores recomendam 64 GPUs ou mais, e o ambiente de treinamento do Isaac Lab exige uma GPU com CUDA 12 (L40 recomendada)
• A implantação exige o TensorRT em uma versão específica para cada plataforma e, no Orin embarcado do G1, regravar o firmware com o JetPack 6
• Os dados de treinamento BONES-SEED são licenciados apenas para usuários acadêmicos e empresas com receita anual inferior a $1M; qualquer outro precisa de uma licença comercial para retreinar com eles
• O uso no robô real traz os riscos habituais de um robô humanoide: a documentação pede uma zona de segurança livre e um operador pronto para parar o robô