Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

Autores: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma recompensa de estilo aprendida de forma adversarial a partir de 4,5 s de captura de movimento de um pastor-alemão substitui uma recompensa projetada à mão e se transfere para um quadrúpede A1 real com menor custo de transporte.

Por que importa

O ajuste de recompensas é uma grande parte do trabalho de engenharia na locomoção com pernas sim-to-real. O artigo mostra que poucos segundos de movimento de referência podem substituir uma recompensa de estilo de 13 termos projetada à mão em um quadrúpede real, enquanto a política ainda se afasta dos clipes quando necessário para seguir as velocidades comandadas e muda de marcha com a velocidade.

Problema

Agentes de aprendizado por reforço para locomoção com pernas treinados com uma recompensa subespecificada frequentemente aprendem comportamentos como membros se debatendo, vibração das pernas ou contatos de alto impulso que exploram imprecisões do simulador e não conseguem rodar em um robô real. O remédio usual é uma recompensa de estilo complexa projetada à mão, que exige conhecimento substancial do domínio e ajuste delicado, e tende a ser específica de uma plataforma e uma tarefa.

Solução proposta

Os autores adaptam os Adversarial Motion Priors (AMP) da computação gráfica: um discriminador treinado com um objetivo GAN de mínimos quadrados e uma penalidade de gradiente aprende a distinguir as transições de estado de um conjunto de dados de captura de movimento das transições produzidas pela política, e sua saída se torna uma recompensa de estilo somada a uma recompensa de tarefa de seguimento de velocidade (pesos 0,65 e 0,35). Clipes de um pastor-alemão totalizando 4,5 segundos são redirecionados para o robô A1 com cinemática inversa, e a política (ângulos-alvo das juntas a 30 Hz, seguidos por controladores PD) é treinada com PPO em 5.280 ambientes do Isaac Gym com randomização de domínio antes da implantação no hardware.

Principais ideias

Uma recompensa de estilo aprendida de forma adversarial a partir de 4,5 s de captura de movimento pode substituir uma recompensa de estilo de 13 termos projetada à mão e ainda gerar políticas que podem ser implantadas em um quadrúpede real.
Como o discriminador pontua transições de estado em vez de seguir um clipe específico, a política pode seguir comandos de velocidade que não aparecem nos dados de referência.
Políticas treinadas com o prior de movimento mudam de marcha conforme a velocidade comandada (andadura a 0,8 m/s, trote a 1,7 m/s e uma troca de andadura para meio-galope quando o comando sobe de 1 m/s para 2 m/s), o que os autores relacionam à forma como os animais reduzem o gasto de energia.
Sem recompensa de estilo, a política explora a dinâmica imprecisa do simulador fazendo os pés vibrarem em alta velocidade e torque; ela segue bem a velocidade, mas é violenta demais para rodar no robô real.
Os autores atribuem o menor custo de transporte a estratégias energeticamente eficientes já presentes nos dados de movimento do cachorro.

Principais resultados

Custo mecânico de transporte em simulação (Tabela II), com velocidades comandadas de 0,4, 0,8, 1,2 e 1,6 m/s: 1,07, 0,93, 1,02 e 1,12 com a recompensa AMP contra 1,54, 1,37, 1,40 e 1,41 com a recompensa de estilo complexa. O texto dá para a recompensa complexa a faixa de 1,37 a 1,65, que não corresponde ao maior valor da tabela, 1,54.
Sem recompensa de estilo, o custo de transporte foi de 14,03, 8,00, 6,05 e 5,18 nas mesmas quatro velocidades, causado por torques e velocidades de motor elevados.
Velocidade de avanço medida para comandos de 0,4/0,8/1,2/1,6 m/s: 0,36/0,77/1,11/1,52 m/s com AMP, 0,41/0,88/1,28/1,67 m/s com a recompensa complexa e 0,42/0,82/1,22/1,61 m/s sem recompensa de estilo.
O treinamento levou 4 bilhões de passos de ambiente (cerca de 4,2 anos de dados simulados) em 16 horas em uma única GPU Tesla V100.
No A1 real, a política AMP seguiu comandos senoidais de velocidade linear e angular, percorreu uma rota com curvas fechadas e trocou de andadura para meio-galope quando o comando subiu de 1 m/s para 2 m/s.

Limitações

O artigo não tem seção de limitações. Sua avaliação no robô real é qualitativa (diagramas de marcha, traços de velocidade, gráficos de custo de transporte e um exemplo de seguimento de rota), sem taxas de sucesso nem tabelas de energia medidas no hardware.
Todos os números de custo de transporte e de seguimento de velocidade da Tabela II vêm de simulação.
Os dados de referência são 4,5 s de um único pastor-alemão (andadura, trote, meio-galope e giro no lugar), redirecionados para um único robô, o A1; nenhum outro robô ou habilidade é testado.
Na simulação a política AMP fica ligeiramente abaixo da velocidade de avanço comandada em todos os comandos testados (por exemplo, 1,52 m/s para um comando de 1,6 m/s).

Impacto na área

Finalista do IROS 2022 Best Paper Award e do ABB Best Student Paper Award, e citado 210 vezes. O artigo aponta para uma página do projeto com vídeos e para o repositório do projeto, que aponta para o código em github.com/Alescontrela/AMP_for_hardware.

Resumo

Treinar um agente simulado de alta dimensão com uma função de recompensa subespecificada frequentemente leva o agente a aprender estratégias fisicamente inviáveis que são ineficazes quando implantadas no mundo real. Para mitigar esses comportamentos não naturais, praticantes de aprendizado por reforço frequentemente utilizam funções de recompensa complexas que incentivam comportamentos fisicamente plausíveis. No entanto, muitas vezes é necessário um processo de ajuste tedioso e trabalhoso para criar recompensas projetadas à mão, que podem não generalizar facilmente entre plataformas e tarefas. Propomos substituir funções de recompensa complexas por "recompensas de estilo" aprendidas a partir de um conjunto de dados de demonstrações de captura de movimento. Uma recompensa de estilo aprendida pode ser combinada com uma recompensa de tarefa arbitrária para treinar políticas que realizam tarefas usando estratégias naturalistas. Essas estratégias naturais também podem facilitar a transferência para o mundo real. Partimos de Adversarial Motion Priors (priors de movimento adversariais), uma abordagem da área de computação gráfica que codifica uma recompensa de estilo a partir de um conjunto de dados de movimentos de referência, para demonstrar que uma abordagem adversarial para treinar políticas pode produzir comportamentos que se transferem para um robô quadrúpede real sem exigir funções de recompensa complexas. Também demonstramos que uma recompensa de estilo eficaz pode ser aprendida a partir de poucos segundos de dados de captura de movimento coletados de um pastor-alemão e leva a estratégias de locomoção energeticamente eficientes com transições de marcha naturais.

Open Source Robotics