XIRL: Cross-embodiment Inverse Reinforcement Learning

Autores: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Embeddings de consistência cíclica temporal aprendidos de vídeos de demonstradores com corporeidades diferentes dão uma recompensa de distância ao objetivo que treina políticas de RL em corporeidades não vistas.

Por que importa

A recompensa precisa apenas de vídeos: nada de rótulos de ação, quadros pareados ou instrumentação do ambiente além de uma câmera. Nos experimentos do artigo, a mesma recompensa aprendida treinou agentes cujos corpos estavam ausentes do conjunto de demonstrações, que é a situação ao ensinar um robô a partir de vídeo humano.

Problema

Robôs poderiam aprender tarefas a partir de vídeos em terceira pessoa, como humanos demonstrando-as, mas o corpo do demonstrador difere do corpo do robô, então cada um resolve a tarefa com uma estratégia e uma trajetória diferentes. Métodos anteriores de aprendizado de recompensa precisavam de uma trajetória de referência, de um alinhamento por índice temporal ou de correspondências de quadros rotuladas por humanos entre demonstrador e aprendiz.

Solução proposta

O XIRL treina um codificador de imagens ResNet-18 com consistência cíclica temporal (TCC) em vídeos apenas de observações agrupados de várias corporeidades, sem rótulos de corporeidade. A recompensa é uma sigmoide da distância ao quadrado negativa, escalada por temperatura, entre o embedding do quadro atual e o embedding médio dos quadros finais das demonstrações, e uma política Soft Actor-Critic é treinada com essa recompensa para a nova corporeidade.

Principais ideias

Os embeddings TCC codificam o progresso da tarefa, então a distância a um único embedding objetivo dá uma recompensa densa sem trajetória de referência nem alinhamento por índice temporal.
Agrupar demonstrações de mais corporeidades, mantendo o total em 1000 demonstrações, acelerou o RL em uma corporeidade deixada de fora.
Corpos diferentes resolvem a mesma tarefa de formas muito diferentes: no X-MAGICAL o comprimento médio das demonstrações vai de 48,0 passos (long-stick) a 110,8 (gripper).
A recompensa aprendida dá crédito parcial por progresso parcial, por exemplo por se mover em direção a uma gaveta antes de colidir com ela, onde a recompensa esparsa do ambiente fica em zero.

Principais resultados

Varredura no X-MAGICAL com a mesma corporeidade: o XIRL foi pelo menos tão eficiente em amostras quanto as outras recompensas aprendidas e mais eficiente em amostras que a recompensa do ambiente em 3 de 4 corporeidades.
Entre corporeidades, com cada um dos 4 agentes deixado de fora e o codificador treinado nos outros 3: o XIRL generalizou para o novo agente significativamente melhor que as recompensas TCN, LIFS e de classificador de objetivo (5 sementes, 50 episódios de avaliação cada).
Vídeos humanos reais do conjunto de dados RLV treinando um braço Sawyer simulado para empurrar um bloco: XIRL mais a recompensa esparsa foi mais eficiente em amostras que o RLV e que a recompensa esparsa sozinha, sem rótulos de quadros pareados nem dados do domínio do robô no aprendizado da recompensa.
X-REAL: 93 vídeos reais de 9 efetuadores finais (mãos humanas, luvas de esqui, pegadores de cozinha, uma fantasia de mão de lagosta, pinças, grampos, um pegador de longo alcance) levando cinco canetas para dois copos; em One Hand 5 Fingers uma tentativa incompleta recebeu cerca de metade da recompensa de uma bem-sucedida.
Benchmark X-MAGICAL: 4 corporeidades simuladas com 1000 demonstrações especialistas cada.

Limitações

Nenhuma política foi treinada em um robô real; os autores afirmam que ainda precisam mostrar o aprendizado de políticas em um robô real.
O X-MAGICAL é uma tarefa de varredura 2D construída sobre o PyMunk, que os autores descrevem como uma versão altamente simplificada do cenário do mundo real.
As demonstrações contêm apenas trajetórias bem-sucedidas, então um codificador que generalize mal pode definir uma tarefa diferente da pretendida; o artigo sugere combinar a recompensa aprendida com uma recompensa esparsa da tarefa.
No conjunto de dados real X-REAL, o artigo mostra apenas curvas de recompensa aprendida, não aprendizado de políticas.
A maioria dos resultados é apresentada como curvas de aprendizado e não como taxas de sucesso tabeladas, por isso poucos números exatos são relatados.

Impacto na área

Finalista do CoRL 2021 Best Paper Award, com 182 citações segundo o número informado. O artigo apresenta o benchmark X-MAGICAL e o conjunto de dados X-REAL; a cópia licenciada v1 diz que o código e os conjuntos de dados serão disponibilizados, mas não dá nenhum link.

Resumo

Investigamos o cenário de imitação visual entre corporeidades diferentes (cross-embodiment), no qual agentes aprendem políticas a partir de vídeos de outros agentes (como humanos) demonstrando a mesma tarefa, mas com diferenças marcantes em sua corporeidade (embodiment): forma, ações, dinâmica do efetuador final etc. Neste trabalho, demonstramos que é possível descobrir e aprender automaticamente funções de recompensa baseadas em visão a partir de vídeos de demonstração de corporeidades diferentes que sejam robustas a essas diferenças. Especificamente, apresentamos um método autossupervisionado de aprendizado por reforço inverso entre corporeidades (Cross-embodiment Inverse Reinforcement Learning, XIRL) que explora restrições de consistência cíclica temporal para aprender embeddings visuais profundos que capturam o progresso da tarefa a partir de vídeos offline de demonstrações de vários agentes especialistas, cada um realizando a mesma tarefa de forma diferente devido a diferenças de corporeidade. Antes do nosso trabalho, produzir recompensas a partir de embeddings autossupervisionados normalmente exigia o alinhamento com uma trajetória de referência, que pode ser difícil de obter. Mostramos empiricamente que, se os embeddings têm consciência do progresso da tarefa, simplesmente tomar a distância negativa entre o estado atual e o estado objetivo no espaço de embeddings aprendido é útil como recompensa para treinar políticas com aprendizado por reforço. Constatamos que nossa função de recompensa aprendida não só funciona para corporeidades vistas durante o treinamento, como também generaliza para corporeidades totalmente novas. Também constatamos que as políticas do XIRL são mais eficientes em amostras que as baselines e, em alguns casos, superam a eficiência em amostras do mesmo agente treinado com recompensas esparsas reais (ground truth).

Open Source Robotics