Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

HALO

Autonomia da Apple para o humanoide Unitree G1, treinada só com casas sintéticas

Licença

Licença de código de exemplo da Apple (permissiva, sem concessão de patentes)

É a licença própria da Apple para código de exemplo, não uma aprovada pela OSI. Ela permite que qualquer pessoa use, modifique e redistribua o código, em forma de fonte ou binária, com ou sem alterações; uma cópia sem modificações deve manter o aviso da Apple. Ela não concede direitos de patente, e o nome e as marcas da Apple não podem ser usados para promover trabalhos derivados. Os modelos que o HALO baixa (Qwen, Kimodo e os modelos Llama 3 que o Kimodo usa) e a descrição do robô Unitree G1 mantêm suas próprias licenças, e o modelo Llama 3 tem acesso restrito no Hugging Face.

Visão geral

HALO (Perceptive Humanoid Motion from Simulation) é um sistema de autonomia para robôs humanoides do grupo de pesquisa em aprendizado de máquina da Apple, lançado junto com o artigo em novembro de 2026. Ele comanda um Unitree G1 a partir de uma imagem de câmera e de um pedido falado: senta em cadeiras e sofás, caminha até pessoas e objetos nomeados, passa de lado por portas entreabertas, se agacha e rasteja sob mesas e empurra caixas. Suas habilidades guiadas por câmera foram aprendidas com dados sintéticos renderizados em 1.000 casas geradas proceduralmente, e o artigo relata 91% de sucesso em 360 testes em seis ambientes reais que o robô nunca tinha visto. O repositório traz o pipeline de dados, o código de treinamento dos dois modelos aprendidos e a implantação para o MuJoCo e o robô real. Não inclui pesos treinados nem conjunto de dados.

O HALO roda no robô em três camadas. Um orquestrador, um modelo de visão e linguagem pronto para uso, transforma o pedido do operador e a imagem da câmera em subtarefas a cada dois segundos, aproximadamente. Um gerador de movimento planeja cinco segundos de movimento de corpo inteiro, 150 quadros de 36 valores, cerca de três vezes por segundo a partir da imagem RGB e da subtarefa atual; ele combina um codificador visual Qwen3.5-2B congelado com um decodificador transformador de difusão treinado por flow matching, e executa só o primeiro meio segundo de cada plano. Um tracker segue esse plano a 50 Hz usando uma câmera de profundidade e as leituras de juntas e IMU do próprio robô, e envia alvos para as 29 juntas do G1. No robô da Apple, o gerador e o orquestrador rodam em um Mac mini levado em um compartimento nas costas, e o tracker no Jetson Orin NX do próprio G1.

O trabalho pesado está no pipeline de dados. O Kimodo, da NVIDIA, gera movimentos do G1 a partir de textos, pontos de passagem e poses finais, e 33 verificações geométricas mantêm o melhor entre vários candidatos. O Infinigen constrói as casas, cada movimento é posicionado onde não colide com nada, e o Isaac Lab renderiza o que uma câmera olho de peixe na cabeça veria, com oito tipos de randomização de domínio visual, como desfoque de movimento, pouca luz e tons de cor.

O tracker é treinado no Isaac Lab em três fases: especialistas PPO que veem o estado completo do simulador, destilação em um único aluno que vê apenas os sensores embarcados e, por fim, ajuste fino com PPO e um crítico por especialista. Ele é exportado para ONNX e implantado em Python para testes sim-to-sim no MuJoCo e em C++ de tempo real com TensorRT no robô. Os inicializadores do sistema rodam o ciclo completo no MuJoCo ou no G1. A página do projeto da Apple tem o vídeo de demonstração, uma galeria de testes reais e uma execução gravada que pode ser reproduzida em 3D, e o método está no artigo.

Por que importa

A maior parte dos dados de habilidades para humanoides é coletada por pessoas, por teleoperação ou captura de movimento, a cerca de uma hora de trabalho humano por hora de dados. O HALO mostra outro caminho: um corpus gerado inteiramente em simulação, que cresce com poder computacional e não com mão de obra, e que leva um G1 por casas reais sem ajuste adicional. Também é um pipeline completo e legível, não uma única política. Geração de dados, treinamento do gerador, treinamento do tracker e implantação no robô real estão em um só repositório, então um laboratório com um G1 pode estudar ou reconstruir cada etapa. Projetos abertos de controle de humanoides como ASAP, Holosoma e GEAR-SONIC se concentram principalmente em aprender a seguir ou executar movimentos. O HALO une um tracker à camada guiada por câmera que decide que movimento fazer em um cômodo nunca visto.

Problema que resolve

Um humanoide que trabalhe em uma casa comum precisa transformar pixels e um pedido falado em comandos para as juntas, e aprender esse mapeamento exige dados pareados de visão, linguagem e movimento que não existem em grande escala. Coletá-los por teleoperação é lento e caro. O HALO gera esses dados pareados de forma sintética em casas construídas proceduralmente e treina com eles um planejador e um tracker que se transferem para cômodos reais sem ajuste adicional.

Pontos principais

  • Três camadas embarcadas: um orquestrador VLM, um gerador de movimento a cerca de 3 Hz e um tracker baseado em profundidade a 50 Hz
  • Suas habilidades guiadas por câmera são treinadas com dados sintéticos de 1.000 casas geradas proceduralmente, sem casas reais no treinamento
  • 91% de sucesso em 360 testes em seis ambientes reais fora do treinamento, segundo o artigo
  • Inclui o pipeline de dados, o treinamento dos dois modelos e a implantação no MuJoCo e no Unitree G1 real
  • Sem pesos treinados nem conjunto de dados: é preciso gerar os dados e treinar os dois modelos por conta própria

Para quem é

  • Laboratórios com um Unitree G1 que trabalham com locomoção com percepção e habilidades de corpo inteiro
  • Pesquisadores que estudam dados sintéticos e a transferência sem ajuste da simulação para robôs reais
  • Equipes que desenvolvem trackers de movimento para humanoides e querem uma receita de treinamento testada em três etapas no Isaac Lab
  • Engenheiros que procuram um exemplo prático de implantação em tempo real de um humanoide com TensorRT no Jetson

Limitações

  • Não há pesos treinados do gerador ou do tracker nem conjunto de dados publicados, então nada roda antes de treinar os dois modelos
  • A escala do artigo está fora do alcance da maioria: o corpus foi gerado em 250 GPUs H100 e o gerador treinado em 64 GPUs B200
  • O pipeline de dados só produz dados de treinamento para a tarefa de sentar em uma cadeira; as outras tarefas precisam de dados que não estão no repositório
  • O orquestrador multitarefa roda em MLX e exige um Mac com Apple silicon e pelo menos 32 GB de memória
  • Feito para um único robô, o Unitree G1 de 29 juntas, com um modelo identificado da unidade da própria Apple
  • Lançado sob uma licença permissiva própria da Apple, e não sob uma licença de código aberto padrão, sem concessão de patentes

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.