GRAIL: Generating Humanoid Loco-Manipulation from World Models

Autores: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026

Por que importa

Robôs humanoides precisam de demonstrações do corpo inteiro andando, ajoelhando, sentando e manuseando objetos, e hoje elas vêm da teleoperação do robô ou da captura de movimento, que precisam de uma cena física e de pessoas para cada objeto ou escada novos. O GRAIL troca isso por um pipeline que fica no computador até a implantação: entram um objeto 3D e uma cena, saem trajetórias prontas para o robô, com cerca de 14 minutos de geração por sequência em uma GPU. Os autores mostram que esses dados bastam por si sós: políticas visuais treinadas só com eles pegam objetos e sobem escadas em um Unitree G1 real. O código, a documentação, um conjunto de dados com mais de 22.000 movimentos do G1 e checkpoints de rastreamento são públicos, o que faz dele uma referência funcional para quem constrói dados sintéticos para humanoides. O código está sob a NVIDIA License e o conjunto de dados sob CC BY-NC 4.0, então ambos só podem ser usados para pesquisa ou avaliação, não em um produto comercial.

Problema

Políticas de locomanipulação humanoide precisam de demonstrações que cubram muitos objetos, movimentos de corpo inteiro e formas de terreno, e cada uma precisa ser fisicamente plausível e executável pelo robô. Teleoperação e captura de movimento dão boas demonstrações, mas escalam mal: cada objeto ou disposição de terreno novos exigem operadores, atores instrumentados e uma cena física remontada. Reconstruir trajetórias de robô a partir de vídeos comuns traz amplitude, mas câmera, escala, forma do objeto, forma do corpo, contatos e movimento no espaço do mundo precisam ser adivinhados a partir de uma única vista. Pipelines anteriores que usam vídeos gerados como fonte de interações humano-objeto deixam essas mesmas grandezas para serem inferidas depois da geração, e por isso o resultado muitas vezes não é algo que um robô consiga seguir.

Solução proposta

O GRAIL fixa a cena antes de gerar qualquer coisa. Um ativo de objeto é colocado em um cômodo do Infinigen ao lado de um personagem humano com proporções ajustadas ao Unitree G1, assentado com física e renderizado no Blender com parâmetros de câmera conhecidos. O GPT-4o escreve um prompt de interação a partir desse quadro, e o modelo de imagem para vídeo da Kling, usado como modelo de mundo, gera um vídeo com câmera fixa da pessoa manuseando o objeto. Como geometria, escala, câmera, profundidade da cena e forma do corpo são conhecidas, a reconstrução fica restrita: o GENMO estima a pose do corpo com a forma fixa, o WiLoR refina as mãos, um FoundationPose ajustado rastreia o objeto a partir da sua primeira pose conhecida, e uma otimização conjunta do corpo e do objeto com perdas de pontos-chave, projeção, profundidade e contato elimina contatos flutuantes, penetrações e deriva de profundidade. Sequências cujo rastreamento do objeto não bate com as máscaras do SAM2 são descartadas. O GMR faz o retargeting do movimento para o G1, e dois rastreadores de uso geral construídos sobre o controlador de corpo inteiro SONIC transformam as referências em ações do robô no Isaac Lab: um adaptador atento ao objeto que ajusta os tokens latentes do SONIC e abre e fecha as mãos, e um rastreador atento à cena que ajusta o SONIC junto com uma rede que lê um mapa de alturas do chão em volta do robô, para meios-fios, rampas, escadas e cadeiras. Para o robô real, esses rastreadores são destilados em políticas RGB egocêntricas treinadas com randomização de domínio.

Principais ideias

Conhecer a cena antes de gerar o vídeo é o que torna a reconstrução utilizável: geometria do objeto, câmera, escala métrica, profundidade da cena e um corpo com as proporções do robô passam a ser entradas em vez de incógnitas
Vídeos de pessoas são a melhor coisa a gerar: os modelos de vídeo atuais têm priors mais fortes para manipulação humana do que para robôs, e as ferramentas de reconstrução do corpo e das mãos humanas são mais maduras
Um personagem ajustado de antemão às proporções do robô reduz a incompatibilidade no retargeting do movimento para o G1, de modo que os contatos mão-objeto e corpo-cena sobrevivem ao retargeting
Cada perda de reconstrução importa para o robô, não só para a imagem: tirar o termo de projeção, de profundidade ou de contato reduz o sucesso do rastreamento posterior de 81,4% para entre 41,6% e 53,3%
Rastrear o corpo com precisão não basta para manipular: o SONIC puro rastreia melhor o corpo, mas tem o menor sucesso, e é o adaptador latente atento ao objeto que acrescenta o manuseio do objeto
Treinar um rastreador por família de tarefas sobre 2.000 a 4.000 movimentos leva o custo a cerca de 0,5 a 0,9 minuto de treinamento por movimento, e novos movimentos podem ser acrescentados com um ajuste que parte da política atual

Principais resultados

Em 20 objetos compartilhados, as interações geradas pelo GRAIL são rastreadas em simulação física com 88,9% de sucesso, contra 24,0% do DAViD, 15,8% do HOIDiff e 10,5% do CHOIS, com a menor distância de contato (0,008) e a menor penetração (0,90%)
Em um estudo com 30 participantes, o GRAIL foi escolhido como o uso mais adequado do objeto em 74,7% das vezes e como o movimento fisicamente mais plausível em 70,9%, com teto de 75%
Em um benchmark de 124 movimentos com 43 objetos, o rastreador de uso geral alcança 81,4% de sucesso em manipulação, contra 48,5% do HDMI e 49,2% do ResMimic; sem o SONIC cai para 45,0%
O pipeline produziu mais de 20.000 sequências a partir de 1.000 ativos de objetos e 1.000 terrenos procedurais, com cerca de 14 minutos por sequência de 5 segundos em uma NVIDIA A100
Em um Unitree G1 real, uma política RGB egocêntrica de pegar objetos treinada só com dados do GRAIL acerta 84% das vezes com cinco objetos vistos e 80% com cinco não vistos, com 10 tentativas cada
Uma política de subir escadas treinada só com sequências de terreno do GRAIL alcança 90% de sucesso no mundo real

Limitações

O código está sob a NVIDIA License, que só permite uso para pesquisa ou avaliação (exceto pela própria NVIDIA); o conjunto de dados publicado é CC BY-NC 4.0, e alguns pesos e ativos incluídos mantêm suas próprias licenças de terceiros, então nada disso pode entrar em um produto comercial
Por padrão, a geração de vídeo chama a API paga da Kling e os prompts vêm da API da OpenAI (GPT-4o), então gerar dados novos exige chaves de serviços externos; uma opção local com MiniMax-H3 foi adicionada em agosto de 2026
O pipeline precisa de um ativo 3D para cada objeto e de uma cena pronta para simulador, e o modelo de vídeo precisa seguir a interação pedida; a reconstrução piora com oclusão forte, movimento rápido ou um objeto cuja aparência muda entre quadros, e a filtragem descarta uma parcela não desprezível das sequências
O treinamento é pesado: cada política de rastreamento rodou 30.000 iterações de PPO em 64 GPUs NVIDIA L40, cerca de 30 horas, e uma nova família de movimentos ainda exige treinamento ou ajuste
Os resultados no robô real cobrem duas tarefas em um único robô, pegar de uma mesa e subir escadas, com 10 tentativas por objeto; manipulação de corpo inteiro e sentar só aparecem em simulação, e as mãos usam uma pegada binária, aberta ou fechada
O conjunto de dados publicado cobre pegar objetos, sentar e terreno; os dados de manipulação de corpo inteiro ainda estão na lista de pendências, e o script de demonstração de início rápido ainda não foi publicado
Todos os resultados são relatados pelos autores; no momento da redação, nenhuma reprodução independente foi publicada

Impacto na área

Na robótica, modelos de geração de vídeo foram usados sobretudo para imaginar resultados ou fornecer pré-treinamento visual. O GRAIL os usa como fonte de demonstrações físicas para um humanoide e mostra que o que faz isso funcionar é definir primeiro a cena 3D e reconstruir dentro dela, em vez de extrair movimento 3D de um vídeo sem restrições. Com pegar objetos e subir escadas no robô real treinados com nada além disso, ele defende que dados sintéticos de modelos de mundo podem se somar à teleoperação e à captura de movimento como forma de escalar conjuntos de dados de humanoides, e o conjunto de dados publicado dá a outros grupos uma grande coleção de referências do G1 para terreno e para pegar objetos, com a qual treinar rastreadores.

Resumo

Escalar a locomanipulação humanoide exige demonstrações compatíveis com o robô que abranjam objetos diversos, movimentos de corpo inteiro e geometrias de cena, mas a teleoperação e a captura de movimento são difíceis de escalar porque cada coleta depende de montagens físicas, atores instrumentados e da operação do robô. Apresentamos o GRAIL, um pipeline de geração digital que permanece totalmente virtual até a implantação: ele ancora modelos de mundo de vídeo em ativos 3D e cenas prontas para simulador para sintetizar interações sem reconstruir ambientes físicos nem teleoperar o robô. Em vez de reconstruir vídeos não controlados gravados em ambientes reais, o GRAIL parte de configurações 3D totalmente especificadas, nas quais a geometria do objeto, os parâmetros da câmera, a escala métrica, a profundidade do ambiente e um personagem com as proporções do robô são conhecidos antes da geração do vídeo e reutilizados durante a reconstrução. Essa configuração privilegiada condiciona melhor a recuperação 4D, permitindo que o rastreamento de objetos baseado em modelo, a estimativa do movimento humano e a otimização atenta à interação reconstruam trajetórias métricas 4D de interação humano-objeto (HOI) com menos ambiguidade de profundidade e menos incompatibilidade morfológica. Fazemos o retargeting dos movimentos recuperados para um robô humanoide e treinamos rastreadores complementares de uso geral: um adaptador latente atento ao objeto para manipulação e um rastreador atento à cena para atravessar terrenos. O GRAIL produz mais de 20.000 sequências que abrangem pegar objetos, manipulação de corpo inteiro, sentar e atravessar terrenos. Usando apenas dados gerados pelo GRAIL, treinamos políticas visuais egocêntricas por meio de um pipeline da simulação para o mundo real e as implantamos em um humanoide Unitree G1, alcançando 84% de sucesso no mundo real ao pegar objetos diversos e 90% de sucesso ao subir escadas.

Open Source Robotics