MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

Autores: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O MimicPlay aprende um planejador latente a partir de 10 minutos de vídeo de brincadeira com as mãos humanas e um controlador de transformador guiado pelo plano a partir de poucas demonstrações teleoperadas, elevando o sucesso em horizonte longo em um braço Franka.

Por que importa

Dados de brincadeira humana não precisam de robô, rótulos de tarefa nem reinícios do ambiente: uma pessoa termina em cerca de 5 segundos o que leva 90 segundos de teleoperação do robô, e 10 minutos de brincadeira equivalem aproximadamente a um conjunto de dados de teleoperação de 3 horas. Como o movimento humano e as habilidades do robô compartilham um mesmo espaço de planos latentes, um vídeo humano também pode ser usado diretamente como prompt de objetivo para o robô.

Problema

O aprendizado por imitação tem se limitado sobretudo a primitivas de horizonte curto porque demonstrações de horizonte longo são lentas e trabalhosas de coletar. Aprender com dados de brincadeira do robô ajuda, mas ainda exige horas de teleoperação, por exemplo 4,5 horas para o C-BeT e 6 horas para o TACO-RL.

Solução proposta

O MimicPlay divide o aprendizado por fonte de dados. Um planejador latente condicionado ao objetivo é treinado com 10 minutos de vídeo de brincadeira humana por cena para prever trajetórias futuras da mão em 3D, rastreadas com duas câmeras calibradas, por meio de uma cabeça de modelo de mistura gaussiana (Gaussian Mixture Model), enquanto uma perda KL alinha as características visuais humanas e do robô. Em seguida, uma política de transformador no estilo GPT, treinada com 20–40 demonstrações teleoperadas por tarefa, mapeia os planos latentes do planejador congelado, junto com as entradas da câmera de punho e proprioceptivas, para comandos do efetuador final e da garra.

Principais ideias

Planos de alto nível podem ser aprendidos a partir de dados baratos de brincadeira humana, enquanto o controle de baixo nível vem de demonstrações teleoperadas que não têm lacuna de incorporação.
Uma cabeça GMM é necessária para capturar as trajetórias multimodais da mão humana; sem ela, o planejador generalizou pior do que uma variante treinada sem dados humanos.
Uma perda KL sobre as distribuições de características do codificador reduz a lacuna visual entre humano e robô sem dados pareados, dando uma sobreposição 23 % maior entre as distribuições de características humanas e do robô no t-SNE.
Usar os 10 minutos inteiros de brincadeira humana em vez da metade melhora a generalização para composições de subobjetivos não vistas.
Planos latentes pré-treinados reduzem a perda ao passar do treinamento de tarefa única para multitarefa em comparação com métodos ponta a ponta como LMP e R3M-BC.

Principais resultados

Cozinha (Kitchen), horizonte longo, as três tarefas (Tabela 1): sucesso de 0,47 com 20 demonstrações e de 0,70 com 40, contra no máximo 0,07 e 0,17 das baselines e 0,23 / 0,40 da variante sem dados humanos.
Study Desk (Tabela 2, 20 demonstrações): 0,55 em tarefas treinadas e 0,47 em composições de tarefas não vistas, contra 0,00 do GC-BC (BC-trans) e do LMP e 0,20 / 0,10 da variante sem dados humanos.
Multitarefa com Flower, Whiteboard, Sandwich e Cloth (Tabela 3): 0,55 com um único modelo compartilhado contra 0,58 com um modelo por tarefa; o LMP cai de 0,13 para 0,05 e o R3M de 0,25 para 0,15.
Sem a perda KL, o sucesso nas tarefas treinadas cai para 0,38 (17 % abaixo de 0,55); sem o GMM, fica em 0,28 nas tarefas treinadas e 0,07 nas não vistas.
Na simulação LIBERO, onde só há dados de brincadeira do robô, a variante hierárquica sem dados humanos chega a 0,29–0,67 em tarefas de horizonte longo, enquanto as baselines GC-BC marcam 0,00 (5 sementes, 100 tentativas).
O sistema completo roda a 17 Hz, rápido o bastante para replanejar após perturbações humanas como desdobrar uma toalha dobrada; a Seção 4 informa uma frequência de controle de 20 Hz e o apêndice dá 17–20 Hz.

Limitações

Os planos latentes são aprendidos a partir de dados de brincadeira humana específicos de cada cena; treinar com dados em escala de Internet poderia melhorar a escalabilidade (segundo os autores).
As tarefas se limitam a cenários sobre mesa; manipulação móvel não é coberta (segundo os autores).
O aprendizado de representações entre incorporações tem espaço para melhorar, por exemplo com aprendizado contrastivo temporal ou de consistência cíclica (segundo os autores).
No treinamento multitarefa, o sucesso no quadro branco (whiteboard) caiu de 0,5 para 0,2, o que os autores atribuem às demonstrações mais curtas do quadro branco desequilibrarem o conjunto de dados.
O rastreamento 3D da mão exige uma configuração calibrada de duas câmeras, e o componente de brincadeira humana não pôde ser testado em simulação.

Impacto na área

Finalista do prêmio de melhor artigo de sistemas do CoRL 2023 (Best Systems Paper Award) e incluído na lista combinada de finalistas Best Paper / Best Student Paper do CoRL 2023, com 415 citações. O código da implementação é liberado em github.com/j96w/MimicPlay, com vídeos na página do projeto.

Resumo

O aprendizado por imitação a partir de demonstrações humanas é um paradigma promissor para ensinar habilidades de manipulação a robôs no mundo real. No entanto, aprender tarefas complexas de horizonte longo muitas vezes exige uma quantidade inalcançável de demonstrações. Para reduzir a alta exigência de dados, recorremos a dados de brincadeira humana (human play): sequências de vídeo de pessoas interagindo livremente com o ambiente usando as mãos. Mesmo com morfologias diferentes, levantamos a hipótese de que os dados de brincadeira humana contêm informações ricas e salientes sobre interações físicas que podem facilitar prontamente o aprendizado de políticas do robô. Motivados por isso, apresentamos um framework de aprendizado hierárquico chamado MimicPlay, que aprende planos latentes a partir de dados de brincadeira humana para orientar um controle visuomotor de baixo nível treinado com um pequeno número de demonstrações teleoperadas. Com avaliações sistemáticas de 14 tarefas de manipulação de horizonte longo no mundo real, mostramos que o MimicPlay supera métodos de aprendizado por imitação de estado da arte em taxa de sucesso das tarefas, capacidade de generalização e robustez a perturbações. Código e vídeos estão disponíveis em mimic-play.github.io.

Open Source Robotics