PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

Autores: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um codificador de profundidade e propriocepção de 128-d treinado por informação preditiva, com uma pequena cabeça de política treinada por ARS: 100 % de sucesso em pedras de passagem reais contra 40 % do ARS.

Por que importa

Mantém o paralelismo e a simplicidade das estratégias evolutivas e reduz o principal obstáculo delas para o controle baseado em visão, o tamanho do espaço de busca de parâmetros. As políticas foram transferidas do PyBullet para um Laikago real nas pedras de passagem e na navegação em ambientes internos usando o mesmo procedimento de simulação para o mundo real do trabalho anterior com ARS.

Problema

Estratégias evolutivas como o Augmented Random Search (ARS) paralelizam bem e exploram no espaço de parâmetros, mas escalam mal para os muitos parâmetros das redes convolucionais necessárias para a locomoção visual. Nos testes dos autores, as alternativas baseadas em gradiente SAC e PI-SAC não fizeram nenhum progresso significativo nessas tarefas, e a política anterior de locomoção visual com ARS alcançou apenas 40 % de sucesso em pedras de passagem reais.

Solução proposta

O PI-ARS divide o agente em um codificador e uma pequena cabeça de política. O codificador mapeia duas imagens de profundidade de 32×24 e estados proprioceptivos para um vetor de 128-d e é treinado por descida de gradiente para maximizar a informação preditiva, combinando um termo InfoNCE que prevê a observação de profundidade futura com predição de recompensa por RNN, sobre trajetórias que o ARS já coleta; o ARS então otimiza apenas uma cabeça MLP de 3 camadas que emite comandos de alto nível para um controlador de baixo nível baseado em MPC.

Principais ideias

Separar o aprendizado de representações (baseado em gradiente) da busca de políticas (sem gradiente) evita o problema de escala das estratégias evolutivas mantendo suas vantagens.
As trajetórias dos rollouts de perturbação do ARS são guardadas em um buffer de replay e reutilizadas para treinar o codificador, então o aprendizado de representações não precisa de dados extras do ambiente.
Apenas a predição de recompensa gerou representações fracas demais para resolver as tarefas; o termo contrastivo de observação futura foi necessário.
Os autores sugerem que a exploração no espaço de parâmetros e a estabilidade do ARS são críticas aqui: acrescentar informação preditiva ao SAC (PI-SAC) não ajudou, então uma boa representação sozinha não bastava.

Principais resultados

Pedras de passagem reais (quatro pedras, três vãos de 0,12–0,18 m): o PI-ARS tem sucesso em 10 de 10 tentativas (100 %), contra 40 % da baseline ARS sob o mesmo treinamento e a mesma configuração de avaliação.
Pedras de passagem irregulares simuladas: o retorno médio após 2.000.000 de episódios de treinamento sobe 48,01 %, de 2,93 para 4,34.
O PI-ARS dá retornos maiores e melhor eficiência amostral do que o ARS nas quatro tarefas simuladas: pedras de passagem irregulares, estacas em quincôncio, plataformas móveis e navegação em ambientes internos.
SAC e PI-SAC não fizeram nenhum progresso de aprendizado não desprezível nessas tarefas apesar de um extenso ajuste de hiperparâmetros.
Navegação real em ambiente interno: a política alcançou o alvo e encontrou um atalho entre dois obstáculos, embora tenha colidido com o braço de um dos obstáculos.
O treinamento usou 1024 perturbações por iteração do ARS mantendo as 512 melhores, até 4000 iterações (no máximo 2.048.000 episódios de simulação por tentativa), e 30 tentativas por método.

Limitações

Na navegação real em ambiente interno o robô colidiu com o braço de um obstáculo porque foi treinado apenas com obstáculos simulados em forma de caixa.
Apenas tarefas em ambientes internos foram testadas; a locomoção visual em ambientes externos fica para trabalhos futuros.
A política real de pedras de passagem foi treinada em uma versão mais fácil do terreno simulado, com menores variações na altura das pedras.
A navegação em ambiente interno precisou de um sistema de captura de movimento para rastrear a posição da base do robô e obter o vetor relativo ao alvo.
A política aprendida emite apenas comandos de alto nível e depende de um controlador de baixo nível baseado em MPC para executá-los.

Impacto na área

Finalista do prêmio de melhor artigo do IROS 2022 (Best Paper Award) e do prêmio ABB de melhor artigo de estudante (ABB Best Student Paper Award), com 21 citações. Os autores publicam uma página com vídeo suplementar; o artigo não informa liberação de código.

Resumo

Os algoritmos de estratégias evolutivas (Evolution Strategy, ES) têm mostrado resultados promissores no treinamento de políticas complexas de controle robótico graças à sua capacidade de paralelismo massivo, implementação simples, exploração eficaz do espaço de parâmetros e tempo de treinamento rápido. No entanto, uma limitação fundamental das ES é sua escalabilidade para modelos de grande capacidade, incluindo arquiteturas modernas de redes neurais. Neste trabalho, desenvolvemos o Predictive Information Augmented Random Search (PI-ARS) para mitigar essa limitação, aproveitando avanços recentes em aprendizado de representações para reduzir o espaço de busca de parâmetros das ES. Especificamente, o PI-ARS combina uma técnica de aprendizado de representações baseada em gradiente, Predictive Information (PI), com um algoritmo de ES sem gradiente, Augmented Random Search (ARS), para treinar políticas capazes de processar entradas sensoriais complexas do robô e lidar com dinâmicas do robô altamente não lineares. Avaliamos o PI-ARS em um conjunto de tarefas desafiadoras de locomoção visual em que um robô quadrúpede precisa andar sobre pedras de passagem irregulares, estacas em quincôncio e plataformas móveis, além de completar uma tarefa de navegação em ambientes internos. Em todas as tarefas, o PI-ARS demonstra eficiência de aprendizado e desempenho significativamente melhores do que a baseline ARS. Validamos ainda nosso algoritmo demonstrando que as políticas aprendidas podem ser transferidas com sucesso para um robô quadrúpede real, alcançando, por exemplo, uma taxa de sucesso de 100 % no ambiente real de pedras de passagem, melhorando drasticamente resultados anteriores que alcançavam 40 % de sucesso.

Open Source Robotics