HALO
Autonomia da Apple para o humanoide Unitree G1, treinada só com casas sintéticas
Licença
Licença de código de exemplo da Apple (permissiva, sem concessão de patentes)
É a licença própria da Apple para código de exemplo, não uma aprovada pela OSI. Ela permite que qualquer pessoa use, modifique e redistribua o código, em forma de fonte ou binária, com ou sem alterações; uma cópia sem modificações deve manter o aviso da Apple. Ela não concede direitos de patente, e o nome e as marcas da Apple não podem ser usados para promover trabalhos derivados. Os modelos que o HALO baixa (Qwen, Kimodo e os modelos Llama 3 que o Kimodo usa) e a descrição do robô Unitree G1 mantêm suas próprias licenças, e o modelo Llama 3 tem acesso restrito no Hugging Face.
Visão geral
HALO (Perceptive Humanoid Motion from Simulation) é um sistema de autonomia para robôs humanoides do grupo de pesquisa em aprendizado de máquina da Apple, lançado junto com o artigo em novembro de 2026. Ele comanda um Unitree G1 a partir de uma imagem de câmera e de um pedido falado: senta em cadeiras e sofás, caminha até pessoas e objetos nomeados, passa de lado por portas entreabertas, se agacha e rasteja sob mesas e empurra caixas. Suas habilidades guiadas por câmera foram aprendidas com dados sintéticos renderizados em 1.000 casas geradas proceduralmente, e o artigo relata 91% de sucesso em 360 testes em seis ambientes reais que o robô nunca tinha visto. O repositório traz o pipeline de dados, o código de treinamento dos dois modelos aprendidos e a implantação para o MuJoCo e o robô real. Não inclui pesos treinados nem conjunto de dados.
O HALO roda no robô em três camadas. Um orquestrador, um modelo de visão e linguagem pronto para uso, transforma o pedido do operador e a imagem da câmera em subtarefas a cada dois segundos, aproximadamente. Um gerador de movimento planeja cinco segundos de movimento de corpo inteiro, 150 quadros de 36 valores, cerca de três vezes por segundo a partir da imagem RGB e da subtarefa atual; ele combina um codificador visual Qwen3.5-2B congelado com um decodificador transformador de difusão treinado por flow matching, e executa só o primeiro meio segundo de cada plano. Um tracker segue esse plano a 50 Hz usando uma câmera de profundidade e as leituras de juntas e IMU do próprio robô, e envia alvos para as 29 juntas do G1. No robô da Apple, o gerador e o orquestrador rodam em um Mac mini levado em um compartimento nas costas, e o tracker no Jetson Orin NX do próprio G1.
O trabalho pesado está no pipeline de dados. O Kimodo, da NVIDIA, gera movimentos do G1 a partir de textos, pontos de passagem e poses finais, e 33 verificações geométricas mantêm o melhor entre vários candidatos. O Infinigen constrói as casas, cada movimento é posicionado onde não colide com nada, e o Isaac Lab renderiza o que uma câmera olho de peixe na cabeça veria, com oito tipos de randomização de domínio visual, como desfoque de movimento, pouca luz e tons de cor.
O tracker é treinado no Isaac Lab em três fases: especialistas PPO que veem o estado completo do simulador, destilação em um único aluno que vê apenas os sensores embarcados e, por fim, ajuste fino com PPO e um crítico por especialista. Ele é exportado para ONNX e implantado em Python para testes sim-to-sim no MuJoCo e em C++ de tempo real com TensorRT no robô. Os inicializadores do sistema rodam o ciclo completo no MuJoCo ou no G1. A página do projeto da Apple tem o vídeo de demonstração, uma galeria de testes reais e uma execução gravada que pode ser reproduzida em 3D, e o método está no artigo.
Por que importa
A maior parte dos dados de habilidades para humanoides é coletada por pessoas, por teleoperação ou captura de movimento, a cerca de uma hora de trabalho humano por hora de dados. O HALO mostra outro caminho: um corpus gerado inteiramente em simulação, que cresce com poder computacional e não com mão de obra, e que leva um G1 por casas reais sem ajuste adicional. Também é um pipeline completo e legível, não uma única política. Geração de dados, treinamento do gerador, treinamento do tracker e implantação no robô real estão em um só repositório, então um laboratório com um G1 pode estudar ou reconstruir cada etapa. Projetos abertos de controle de humanoides como ASAP, Holosoma e GEAR-SONIC se concentram principalmente em aprender a seguir ou executar movimentos. O HALO une um tracker à camada guiada por câmera que decide que movimento fazer em um cômodo nunca visto.
Problema que resolve
Um humanoide que trabalhe em uma casa comum precisa transformar pixels e um pedido falado em comandos para as juntas, e aprender esse mapeamento exige dados pareados de visão, linguagem e movimento que não existem em grande escala. Coletá-los por teleoperação é lento e caro. O HALO gera esses dados pareados de forma sintética em casas construídas proceduralmente e treina com eles um planejador e um tracker que se transferem para cômodos reais sem ajuste adicional.
Pontos principais
- Três camadas embarcadas: um orquestrador VLM, um gerador de movimento a cerca de 3 Hz e um tracker baseado em profundidade a 50 Hz
- Suas habilidades guiadas por câmera são treinadas com dados sintéticos de 1.000 casas geradas proceduralmente, sem casas reais no treinamento
- 91% de sucesso em 360 testes em seis ambientes reais fora do treinamento, segundo o artigo
- Inclui o pipeline de dados, o treinamento dos dois modelos e a implantação no MuJoCo e no Unitree G1 real
- Sem pesos treinados nem conjunto de dados: é preciso gerar os dados e treinar os dois modelos por conta própria
Para quem é
- Laboratórios com um Unitree G1 que trabalham com locomoção com percepção e habilidades de corpo inteiro
- Pesquisadores que estudam dados sintéticos e a transferência sem ajuste da simulação para robôs reais
- Equipes que desenvolvem trackers de movimento para humanoides e querem uma receita de treinamento testada em três etapas no Isaac Lab
- Engenheiros que procuram um exemplo prático de implantação em tempo real de um humanoide com TensorRT no Jetson
Limitações
- Não há pesos treinados do gerador ou do tracker nem conjunto de dados publicados, então nada roda antes de treinar os dois modelos
- A escala do artigo está fora do alcance da maioria: o corpus foi gerado em 250 GPUs H100 e o gerador treinado em 64 GPUs B200
- O pipeline de dados só produz dados de treinamento para a tarefa de sentar em uma cadeira; as outras tarefas precisam de dados que não estão no repositório
- O orquestrador multitarefa roda em MLX e exige um Mac com Apple silicon e pelo menos 32 GB de memória
- Feito para um único robô, o Unitree G1 de 29 juntas, com um modelo identificado da unidade da própria Apple
- Lançado sob uma licença permissiva própria da Apple, e não sob uma licença de código aberto padrão, sem concessão de patentes