OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

Autores: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O retargeting com malha de interação e restrições cinemáticas rígidas transforma a MoCap humana em referências limpas para humanoides; políticas de RL com 5 termos de recompensa se transferem zero-shot para um Unitree G1.

Por que importa

Referências limpas permitiram aos autores treinar políticas de RL proprioceptivas com apenas cinco termos de recompensa, quatro termos de randomização de domínio do robô e os hiperparâmetros do BeyondMimic inalterados, sem currículo. O esforço passa do ajuste de recompensas para a produção de dados melhores, e o mesmo pipeline se adapta a outros humanoides (Unitree H1, Booster T1) mudando apenas as correspondências de pontos-chave e o modelo de colisão.

Problema

Habilidades de humanoides costumam ser aprendidas rastreando movimento humano transferido para o robô, mas os pipelines de retargeting comuns (PHC, GMR, VideoMimic) dependem de correspondência de pontos-chave com otimização sem restrições ou com penalidades suaves. Os resultados mostram deslizamento dos pés, penetração e perda de contato mão-objeto ou pé-terreno, o que obriga a uma pesada engenharia de recompensas no RL subsequente. Coletar uma demonstração separada para cada pose de objeto, forma de objeto ou altura de terreno também é caro.

Solução proposta

O OmniRetarget constrói uma malha de interação por tetraedrização de Delaunay sobre os pontos-chave do corpo mais pontos amostrados em objetos e terreno e, para cada quadro, minimiza a deformação laplaciana entre a malha humana e a malha do robô. Restrições rígidas impõem evitação de colisões, limites de junta e de velocidade e ausência de deslizamento dos pés de apoio, resolvidas com um SOCP sequencial com partida a quente a partir do quadro anterior. Resolver novamente com uma pose de objeto, uma forma de objeto ou uma altura de terreno diferentes transforma uma demonstração em muitas trajetórias cinematicamente válidas.

Principais ideias

Preservar as relações espaciais entre corpo, objeto e terreno, em vez de casar pontos-chave, elimina a maior parte dos artefatos de penetração e de deslizamento dos pés.
Restrições rígidas evitam a sensibilidade ao ajuste das penalidades suaves de colisão e contato usadas pelo VideoMimic.
A qualidade do retargeting determina diretamente o sucesso do RL; nas tarefas com terreno, a preservação dos contatos acompanhou a taxa de sucesso.
O aumento cinemático amplia a cobertura a baixo custo: treinar com todo o conjunto aumentado deu 79,1 % de sucesso contra 82,2 % só com os movimentos nominais, enquanto randomizar a forma e a pose do objeto apenas durante o treinamento teve desempenho ruim.
Construir a malha de interação no referencial local do objeto mantém as coordenadas laplacianas inalteradas quando o objeto é movido ou girado.

Principais resultados

Robô-objeto (OMOMO): duração da penetração de 0,00 contra 0,60–0,83 de PHC, GMR e VideoMimic; profundidade máxima de penetração de 1,34 cm contra 5,11–8,50 cm; zero deslizamento dos pés.
Sucesso do RL em tarefas robô-objeto: 82,20 % contra PHC 71,28 %, GMR 50,83 % e VideoMimic 3,85 %.
Robô-terreno (MoCap própria): 94,73 % de sucesso do RL contra GMR 78,94 %, PHC 52,63 % e VideoMimic 51,75 %; preservação dos contatos de 0,72 contra 0,45–0,67.
Só robô (LAFAN1): penetração máxima de 1,07 cm contra 3,22 cm do conjunto de dados de retargeting LAFAN1 da Unitree, sem deslizamento dos pés; ambos chegam a 100 % de sucesso do RL.
Em hardware, um Unitree G1 executa uma sequência de parkour de 30 segundos (carregando uma cadeira de 4,6 kg, escalando, saltando e rolando) e sobe em uma plataforma de 0,9 m, 70 % de sua altura, com transferência zero-shot da simulação.
Foram geradas mais de 8 horas de trajetórias transferidas; 39 movimentos desafiadores foram usados para a comparação de RL.

Limitações

O retargeting é resolvido quadro a quadro; os autores sugerem otimização da trajetória inteira para lidar com fontes de movimento mais ruidosas, como vídeo.
As políticas são proprioceptivas e rastreiam referências; o aprendizado de políticas visuomotoras autônomas fica para trabalhos futuros.
Linearizar as restrições de colisão no solver SOCP sequencial deixa ocasionalmente uma pequena penetração (profundidade máxima de cerca de 1,3 cm), que se espera que o RL absorva.
O desempenho das linhas de base pode depender dos hiperparâmetros; os autores partiram dos valores padrão públicos das linhas de base e os ajustaram.
Os movimentos de transporte de caixas compartilham uma política multitarefa, mas a subida em plataformas usa uma política por movimento de referência.

Impacto na área

Finalista do ICRA 2026 Best Paper Award on Robot Manipulation and Locomotion, com 209 citações. O artigo afirma que todo o código, os conjuntos de dados transferidos (2,78 h de transporte de caixas do OMOMO, 1 h de MoCap própria, 4,6 h do LAFAN1) e as políticas treinadas serão disponibilizados publicamente.

Resumo

Um paradigma dominante para ensinar habilidades complexas a robôs humanoides é fazer o retargeting de movimentos humanos como referências cinemáticas para treinar políticas de aprendizado por reforço (RL). No entanto, os pipelines de retargeting existentes muitas vezes têm dificuldade com a significativa diferença de corporificação entre humanos e robôs, produzindo artefatos fisicamente implausíveis como deslizamento dos pés e penetração. Mais importante, os métodos de retargeting comuns ignoram as ricas interações humano-objeto e humano-ambiente, essenciais para locomoção e locomanipulação (loco-manipulation) expressivas. Para resolver isso, apresentamos o OmniRetarget, um mecanismo de geração de dados que preserva interações, baseado em uma malha de interação que modela e preserva explicitamente as relações espaciais e de contato cruciais entre um agente, o terreno e os objetos manipulados. Ao minimizar a deformação laplaciana entre as malhas do humano e do robô enquanto impõe restrições cinemáticas, o OmniRetarget gera trajetórias cinematicamente viáveis. Além disso, preservar as interações relevantes para a tarefa permite um aumento de dados eficiente, de uma única demonstração para diferentes corporificações de robô, terrenos e configurações de objetos. Avaliamos o OmniRetarget de forma abrangente fazendo o retargeting de movimentos do OMOMO, do LAFAN1 e de nossos próprios conjuntos de dados de MoCap, gerando mais de 8 horas de trajetórias que alcançam melhor satisfação das restrições cinemáticas e melhor preservação dos contatos do que linhas de base amplamente usadas. Esses dados de alta qualidade permitem que políticas de RL proprioceptivas executem com sucesso habilidades de parkour e de locomanipulação de horizonte longo (até 30 segundos) em um humanoide Unitree G1, treinadas com apenas 5 termos de recompensa e uma randomização de domínio simples compartilhada por todas as tarefas, sem nenhum currículo de aprendizado.

Open Source Robotics