Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

Autores: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Imagens geradas de uma pessoa realizando cada subtarefa fornecem contatos de mãos e pés e poses do robô obtidas por retargeting que guiam a otimização de trajetória de corpo inteiro em tarefas de humanoide de horizonte longo.

Por que importa

O pipeline não precisa de heurísticas específicas da tarefa nem de conjuntos de dados 3D de interação entre humanos e objetos: suas entradas são um plano de texto de alto nível e imagens dos objetos. Segundo os autores, sem as informações extraídas de contato e configuração a otimização de trajetória não conseguiu resolver nenhuma das duas tarefas de teste, então as imagens geradas fornecem o raciocínio de horizonte longo que falta à otimização local.

Problema

Humanoides são sistemas de alta dimensão com dinâmica instável, e tarefas úteis de locomanipulação exigem raciocínio de horizonte longo para o qual os métodos de planejamento existentes não escalam. A otimização de trajetória é local e falha nessas tarefas sem orientação, enquanto demonstrações teleoperadas com humanoides são difíceis de coletar porque o robô pode cair facilmente.

Solução proposta

A partir de uma lista ordenada de prompts de texto curtos e de imagens RGB-D dos objetos, um modelo de difusão latente (Flux) gera imagens de uma pessoa de corpo inteiro realizando cada subtarefa. Os contatos de mãos e pés são transferidos para a cena 3D combinando correspondências semânticas com uma busca por amostragem com SVD e ICP que verifica a sobreposição das nuvens de pontos, e a pose da pessoa (obtida com o WHAM) é transferida por retargeting para uma configuração do robô de 35-D por cinemática inversa. Esses quadros-chave entram em uma otimização de trajetória de corpo inteiro com dinâmica centroidal, tanto como termos de custo quanto como warm start por subtarefas.

Principais ideias

Imagens 2D geradas de pessoas podem fornecer tanto locais de contato quanto configurações de corpo inteiro, e os dois juntos levam a otimização local de trajetória a mínimos locais melhores que apenas os contatos.
A correspondência semântica sozinha não é confiável porque os objetos gerados diferem dos reais em ponto de vista, forma e textura; pontuar as correspondências candidatas pela sobreposição das nuvens de pontos (SVD e depois ICP) corrige contatos errados.
Os quadros-chave funcionam melhor ao mesmo tempo como custos e como warm start por subtarefas; configurações que incluem o warm start tendem a convergir melhor e a penetrar menos.
Acrescentar a cada prompt uma descrição fixa de cabelo e roupas faz o modelo de imagem desenhar uma pessoa de corpo inteiro, o que a extração de contatos e de pose exige.

Principais resultados

Com um conjunto mínimo de penalidades de colisão, o pipeline completo permanece sem colisões ao longo de toda a trajetória nos dois cenários (S1: pegar uma cesta em uma prateleira movendo uma caixa e subindo nela; S2: colocar uma caixa em um carrinho e empurrá-lo), enquanto uma referência só com contatos penetra significativamente o tempo todo (Fig. 5).
Sem as informações extraídas de contato e configuração, a otimização de trajetória não conseguiu resolver nenhuma das tarefas; ativar em vez disso todas as restrições de colisão possíveis faz com que ela fique presa em mínimos locais.
No teste S1 com uma caixa de 5,0 kg e guinada inicial de 0 rad, usar todos os componentes dos quadros-chave dá penetração zero; remover qualquer componente impede a convergência ou dá uma penetração grande.
As ablações de quadros-chave cobrem massas de caixa de {2,5; 5,0} kg e guinadas iniciais de {0; 0,6; 1,2} rad para S1, e {2,5; 5,0; 7,5} kg e {0; ±0,6; ±1,2} rad para S2.
Com as penalidades de colisão desativadas, a transferência de contatos que considera a geometria dá substancialmente menos penetração que a transferência que não a considera, nos dois cenários.
A busca pela transformação rígida roda por 10 iterações e, na prática, a melhor transformação é encontrada em até 3.

Limitações

Validado apenas em simulação (MuJoCo com um modelo do Unitree G1); os autores citam a execução em um humanoide real como trabalho futuro.
Pressupõe que o plano de alto nível (prompts de texto ordenados) é dado, além da localização 3D alvo e da guinada do objeto nas tarefas de posicionamento; os autores planejam substituir isso por um planejador de tarefas que use modelos de linguagem multimodais.
Em alguns casos de ablação, a configuração completa de quadros-chave é ligeiramente pior que as configurações parciais, o que os autores atribuem a detalhes do solver de otimização de trajetória.
Os parâmetros intrínsecos da câmera para as imagens geradas são definidos por tentativa e erro (a resolução da imagem como distância focal), e uma heurística projeta os contatos na superfície do objeto mais próxima para evitar penetração.
Os resultados são dados como gráficos de penetração para dois cenários; o artigo não informa taxas de sucesso nem tempos de planejamento.

Impacto na área

O artigo foi finalista do Humanoids 2025 Best Oral Paper Award e tem 8 citações. O artigo não aponta para código, conjunto de dados ou página do projeto; ele remete a um vídeo suplementar.

Resumo

Este artigo usa as capacidades dos modelos de difusão latente (LDMs) para gerar cenas RGB realistas de interação entre humanos e objetos que guiam o planejamento de locomanipulação (loco-manipulation) de humanoides. Para isso, extraímos das imagens geradas tanto os locais de contato quanto as configurações do robô, que depois são usados dentro de uma formulação de otimização de trajetória (TO) de corpo inteiro para gerar trajetórias fisicamente consistentes para humanoides. Validamos nosso pipeline completo em simulação em diferentes cenários de locomanipulação de horizonte longo e realizamos uma análise extensa do pipeline proposto de extração de contatos e configurações do robô. Nossos resultados mostram que, usando as informações extraídas dos LDMs, podemos gerar trajetórias fisicamente consistentes que exigem raciocínio de horizonte longo.

Open Source Robotics