Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

LeRobot agora controla o humanoide Unitree G1 por meio de um VLA e de um controlador de corpo inteiro

  • Fonte: Hugging Face LeRobot team
  • Autor: Open Source Robotics
  • Publicado: 2026-09-25
  • Categoria: business

A equipe do LeRobot publicou um fluxo de trabalho completo para o humanoide Unitree G1. Uma política π0.5 prevê tokens de movimento e o controlador SONIC da NVIDIA os transforma em movimento equilibrado de corpo inteiro; o equipamento de teleoperação, o hardware imprimível, o conjunto de dados e os pesos foram todos liberados. O caminho SONIC está no branch principal do LeRobot, ainda não em uma versão.

O LeRobot agora consegue executar uma política aprendida em um humanoide de tamanho real. Em uma publicação de 25 de setembro, a equipe do LeRobot na Hugging Face mostra toda a cadeia em um Unitree G1: teleoperação de corpo inteiro, um conjunto de dados, um modelo visão-linguagem-ação ajustado e um controlador que mantém de pé um bípede de 29 articulações enquanto o modelo decide o que fazer.

O projeto resolve um problema que os braços nunca tiveram. Um VLA é lento demais para equilibrar sozinho um robô que anda, então o LeRobot coloca um controlador rápido entre os dois. A política é o π0.5 do OpenPI, e ela prevê um token de movimento compacto de 64 dimensões em vez de ângulos das articulações. O decodificador do SONIC da NVIDIA, parte do GR00T-WholeBodyControl, transforma cada token mais o estado recente do corpo em alvos articulares a 50 Hz no robô. A receita segue o artigo do OpenHLM, com uma mudança: o LeRobot treina o VLA diretamente no token latente. O decodificador SONIC foi incorporado ao LeRobot em 17 de agosto como uma reimplementação ONNX em Python puro.

A tarefa de demonstração é levar uma lata até uma mesa. O conjunto de dados tem cerca de 100 episódios, aproximadamente 71 minutos de teleoperação em realidade virtual com três câmeras. O π0.5 foi ajustado com ele por 12.000 passos em quatro H100, e a política resultante é pública. O próprio robô foi modificado: garras OpenArm em adaptadores de punho impressos, uma câmera na cabeça e uma mochila impressa para o adaptador CAN-FD e o cabeamento. As peças imprimíveis também foram liberadas.

A publicação cobre ainda um segundo experimento e o restante da pilha. A equipe treinou um adaptador LoRA sobre o SONIC no mjlab com PPO, para que o G1 desvie de bolas arremessadas usando a profundidade da câmera da cabeça. Isso segue o ViBE. Em simulação, ele desviou de 79,1% dos arremessos, contra 0% com a entrada de profundidade apagada. A equipe deixa claro que esse é um número de simulação e que o vídeo em hardware é uma demonstração, não uma avaliação. O G1 também pode ser controlado pelo controle de corpo inteiro do GR00T ou pelo Holosoma da Amazon FAR. Há uma simulação em MuJoCo e IK de braço, e a luva e o exoesqueleto Homunculus da equipe gravam a teleoperação diretamente a partir do movimento das articulações. Esses dispositivos foram criados originalmente para o HOPEJr.

Uma coisa precisa ficar clara. O suporte ao G1 está nas versões do LeRobot há meses, mas o decodificador SONIC foi incorporado depois da v0.6.1, a versão marcada mais recente. Usar o fluxo descrito aqui significa instalar o LeRobot a partir do código-fonte, e a documentação do G1 foi escrita para o branch principal. A equipe diz que o próximo humanoide a ser suportado é o Asimov, o robô de código aberto da Menlo Research.

Por que importa

Os humanoides são onde o aprendizado de robôs está concentrando seus esforços, e até agora as ferramentas abertas paravam principalmente nos braços. A parte difícil em um bípede não é o modelo, e sim mantê-lo de pé enquanto o modelo pensa. Dividir o trabalho entre uma política lenta e um controlador rápido de corpo inteiro, e publicar cada parte da cadeia, dá a qualquer pessoa com um G1 um ponto de partida reproduzível. Também permite treinar uma política no nível da tarefa com cerca de cem demonstrações, sem reaprender o equilíbrio do zero.

Pontos principais

  • O LeRobot executa uma política π0.5 no Unitree G1 fazendo-a prever os tokens de movimento 64-D do SONIC, que um decodificador rápido no robô transforma em alvos para 29 graus de liberdade a 50 Hz
  • O decodificador SONIC é um port ONNX em Python puro incorporado ao LeRobot em 17 de agosto; está no branch principal, mas não na v0.6.1, a versão mais recente
  • A política de exemplo para levar uma lata foi treinada com cerca de 100 episódios de teleoperação VR de corpo inteiro (cerca de 71 minutos); o conjunto de dados e os pesos são públicos
  • Modificações imprimíveis para o G1 foram liberadas: adaptadores de punho para garras OpenArm, um suporte de câmera para a cabeça e um compartimento nas costas para o adaptador CAN-FD
  • Um adaptador de desvio de bolas baseado em profundidade, treinado no mjlab, desviou de 79,1% dos arremessos em simulação; os autores dizem que não há taxa de sucesso medida em hardware
  • O G1 também pode ser controlado pelo controle de corpo inteiro do GR00T ou pelo Holosoma, com simulação em MuJoCo, IK de braço e estado proprioceptivo completo
  • O Asimov, humanoide de código aberto da Menlo Research, é apontado como o próximo robô a ser suportado

Aspecto open source

Tudo o que a publicação descreve foi liberado: o decodificador SONIC e a integração do G1 no LeRobot sob Apache-2.0, o conjunto de dados de teleoperação, os pesos da política ajustada, as modificações de hardware imprimíveis e os projetos da luva e do exoesqueleto Homunculus. O que não é aberto é o robô. O Unitree G1 é um humanoide comercial, então o fluxo é software aberto sobre hardware fechado, e a publicação aponta o Asimov como o humanoide aberto que será suportado em seguida.

Tecnologias relacionadas

  • LeRobot
  • Unitree G1
  • OpenPI
  • SONIC
  • GR00T-WholeBodyControl
  • OpenHLM
  • Holosoma
  • mjlab
  • OpenArm
  • MuJoCo

Projetos relacionados

  • LeRobot
  • OpenPI
  • OpenArm
  • mjlab
  • NVIDIA Isaac GR00T
  • Holosoma
  • HOPEJr
  • Asimov v1

Links

  • Fonte: https://huggingface.co/blog/nepyope/bringing-humanoids-to-lerobot

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.