Visual Imitation Enables Contextual Humanoid Control

Autores: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O VideoMimic reconstrói pessoas e cenas a partir de vídeos de celular, transfere o movimento por retargeting para um Unitree G1 e treina uma única política que sobe escadas e senta ou levanta conforme o terreno.

Por que importa

A política implantada precisa apenas de propriocepção, de um mapa de alturas de LiDAR e de uma direção do joystick, e escolhe entre andar, subir escadas, sentar e levantar a partir do terreno, e não de rótulos de tarefa. As referências de treinamento vêm de vídeos de smartphone gravados casualmente, em vez de um estúdio de captura de movimento, e os autores afirmam que, até onde sabem, esta é a primeira implantação no mundo real de uma política de humanoide sensível ao contexto aprendida a partir de vídeos humanos monoculares.

Problema

Ensinar a humanoides habilidades de corpo inteiro que dependem do contexto, como subir escadas ou sentar em uma cadeira, normalmente exige recompensas ajustadas à mão ou dados de captura de movimento para cada comportamento e ambiente. Métodos de imitação de movimento normalmente assumem chão plano ou estúdios de captura instrumentados, e métodos de reconstrução monocular muitas vezes recuperam a pessoa, mas não a cena ao redor em escala métrica.

Solução proposta

A partir de um vídeo monocular, o VideoMimic estima por quadro a pose humana SMPL e pontos-chave 2D, além de uma nuvem de pontos da cena (MegaSaM ou MonST3R), e então otimiza conjuntamente a trajetória humana e a escala da cena usando o prior de altura humana do SMPL como referência métrica; a cena é alinhada à gravidade com o GeoCalib e convertida em malha com o NKSR. O movimento é transferido por retargeting para o Unitree G1 com custos de limite articular, contato e colisão. Uma política é treinada no Isaac Gym em quatro etapas: pré-treinamento com RL na captura de movimento do LAFAN, rastreamento condicionado à cena com um mapa de alturas de 11 × 11, destilação com DAgger para uma política condicionada apenas à direção da raiz e ajuste fino com PPO com esse conjunto reduzido de observações.

Principais ideias

Otimizar juntos o movimento humano e a escala da cena, com a altura métrica do corpo SMPL como referência, resolve a ambiguidade de escala das nuvens de pontos de SfM monoculares.
É necessário um pré-treinamento com RL em dados de captura de movimento antes de rastrear referências de vídeo ruidosas; sem ele a política mal aprende (Fig. 6), em parte porque as poses iniciais reconstruídas podem ser instáveis ou atravessar a cena.
Destilar para uma política que vê apenas a direção da raiz e depois executar RL novamente com as mesmas entradas reduzidas melhora a política destilada e permite usar clipes de referência de menor qualidade.
Dois ingredientes foram cruciais para a implantação no hardware: tolerâncias mais folgadas de término de episódio em relação ao movimento de referência e perturbações físicas realistas durante o treinamento.
Durante os testes graduais no mundo real, condicionar na posição da raiz funcionou melhor que condicionar na velocidade da raiz.

Principais resultados

Reconstrução em um subconjunto do SLOPER4D (Tabela 2): WA-MPJPE 112,13 contra 149,48 (TRAM) e 189,29 (WHAM); W-MPJPE 696,62 contra 954,90 e 1148,49; distância de Chamfer 0,75 contra 10,66 do TRAM (o WHAM não recupera a cena).
A otimização conjunta de humano e cena processa uma sequência de 300 quadros em cerca de 20 ms em uma NVIDIA A100 após a compilação; o retargeting leva cerca de 10 s e o alinhamento à gravidade mais a geração de malha cerca de 60 s por clipe de 300 quadros.
Conjunto de treinamento de 123 clipes de smartphone gravados pelos próprios autores: 39 subidas de escada, 36 descidas, 13 com ambas, 7 de levantar, 12 de sentar, 5 de sentar e levantar, 11 de travessia de terreno; 10 clipes do LAFAN de caminhada em terreno plano respondem por 10 % da amostragem.
Uma única política rodando embarcada em um Unitree G1 de 23-DoF a 50 Hz sobe e desce escadas internas e externas, atravessa encostas de terra íngremes e vegetação densa, e senta e levanta de cadeiras e bancos.
Depois de escorregões dos pés ao descer escadas, a política se recuperou dando pulos breves em uma perna só antes de voltar à sua marcha normal.

Limitações

A reconstrução 4D monocular é frágil: a deriva da câmera do MegaSaM cria superfícies 'fantasma' duplicadas, pontos humanos são fundidos à cena estática, imagens com pouca textura falham e o NKSR pode suavizar demais pisos estreitos de degraus, então esses vídeos são descartados.
O retargeting assume que toda pose de referência pode se tornar viável para o robô; em cenas cheias de objetos, custos de contato e colisão conflitantes podem prender o solver em mínimos locais ruins.
O mapa de alturas de LiDAR de 11 × 11 é grosseiro demais para contatos precisos, manipulação ou obstáculos suspensos.
As cenas são modeladas como uma única malha rígida, então objetos articulados ou deformáveis não são tratados.
Com apenas 123 clipes, a política às vezes depende de comportamentos de recuperação, gerando movimentos bruscos; os resultados no robô real são mostrados de forma qualitativa, sem taxas de sucesso informadas.

Impacto na área

O artigo recebeu o CoRL 2025 Best Student Paper Award e tem 142 citações. Os autores afirmam que vão disponibilizar o código de reconstrução, o framework de treinamento de políticas e o conjunto de dados de 123 vídeos; os resultados são mostrados em videomimic.net.

Resumo

Como podemos ensinar humanoides a subir escadas e sentar em cadeiras usando o contexto do ambiente ao redor? Possivelmente, a forma mais simples é apenas mostrar a eles: gravar casualmente um vídeo de movimento humano e fornecê-lo aos humanoides. Apresentamos o VIDEOMIMIC, um pipeline real-to-sim-to-real que garimpa vídeos do dia a dia, reconstrói conjuntamente as pessoas e o ambiente e produz políticas de controle de corpo inteiro para robôs humanoides que executam as habilidades correspondentes. Demonstramos os resultados do nosso pipeline em robôs humanoides reais, mostrando um controle contextual robusto e repetível, como subir e descer escadas, sentar e levantar de cadeiras e bancos, além de outras habilidades dinâmicas de corpo inteiro, tudo a partir de uma única política, condicionada ao ambiente e a comandos globais da raiz. O VIDEOMIMIC oferece um caminho escalável para ensinar humanoides a operar em ambientes reais diversos.

Open Source Robotics