An Online Learning Approach to Model Predictive Control

Autores: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

Licenças

Acesso aberto
Artigo: CC0 1.0 Universal

Tudo o que segue se baseia no artigo completo, que os autores liberaram sob CC0 1.0 Universal; sua figura é mostrada com crédito aos autores.

Em resumo

Ver o MPC como aprendizado online gera o DMD-MPC, uma família que contém MPPI e CEM, expõe o tamanho do passo deles como parâmetro de ajuste e roda em um carro AutoRally em escala 1:5.

Por que importa

O arcabouço transforma o projeto de MPC na escolha de uma perda, uma distribuição de controle e uma divergência, e torna o tamanho do passo um parâmetro explícito. Nas varreduras simuladas com o AutoRally, um tamanho de passo menor permitiu que o controlador mantivesse a maior parte do desempenho com muito menos amostras, o que os autores apontam para sistemas embarcados que não conseguem gerar muitos rollouts.

Problema

Algoritmos de MPC como o MPPI e o método da entropia cruzada foram derivados de suposições e heurísticas diferentes, por isso não há uma receita comum para projetá-los ou ajustá-los. Suas regras de atualização fixam escolhas de projeto, como um tamanho de passo de 1, que não são necessariamente ótimas, o que importa quando o poder computacional limita quantos rollouts podem ser amostrados.

Solução proposta

Os autores mapeiam o MPC para o aprendizado online: cada passo de controle é uma rodada, a decisão é o parâmetro de uma distribuição de controle e a perda por rodada é o objetivo do MPC no estado atual. Aplicar a descida de espelho dinâmica, com o operador de deslocamento do MPC como seu modelo preditivo, gera o DMD-MPC, uma família definida por três escolhas: a perda (custo esperado, probabilidade de baixo custo ou utilidade exponencial), a distribuição de controle (por exemplo, gaussiana, categórica, Laplace) e a divergência de Bregman. MPPI e CEM são recuperados como casos particulares com tamanho de passo 1.

Principais ideias

Iniciar o MPC a quente a partir da solução anterior deslocada cumpre o papel do modelo preditivo na descida de espelho dinâmica, e o regret dinâmico mede quão consistente o plano permanece com o objetivo do MPC.
O MPPI decorre da perda de utilidade exponencial e o CEM da perda de probabilidade de baixo custo, ambos com tamanho de passo 1; o tamanho de passo é um parâmetro livre que os algoritmos originais fixam.
Para distribuições de controle da família exponencial, a atualização é uma combinação convexa do parâmetro de expectativa anterior e das estatísticas suficientes ponderadas pela utilidade.
Perdas baseadas em utilidade dão peso quase nulo a rollouts de alto custo; com a perda de custo esperado simples, rollouts que saem da pista dominam a estimativa do gradiente e o carro andava devagar ou batia nas paredes.
Controles discretos são tratados com uma distribuição categórica e uma atualização de gradiente exponenciado, e o custo pode ser descontínuo, como uma função indicadora.

Principais resultados

Cartpole em simulação, com um modelo enviesado (haste de 0,346 m no modelo contra 0,326 m real): com controles contínuos, tamanhos de passo acima de 1 deram ganhos significativos sobre o tamanho de passo 1 usado no MPPI e no CEM em uma ampla faixa de parâmetros de utilidade.
AutoRally simulado: os ganhos foram pequenos além de 1920 amostras por gradiente, e com um tamanho de passo adequado 192 amostras deram tempos de volta a poucos segundos dos de 3840 amostras com tamanho de passo 1.
AutoRally simulado com a perda de custo esperado: o desempenho foi drasticamente pior mesmo com 3840 amostras; na melhor das hipóteses o carro ficou no centro da pista abaixo de 4 m/s.
AutoRally real, 1920 amostras: tempos de volta de 9,71 ± 0,17 s (gaussiana, passo 1, ou seja, MPPI), 9,76 ± 0,14 s (gaussiana, passo 0,9) e 10,03 ± 0,16 s (Laplace, passo 0,9) com alvo de 13 m/s; 10,49 ± 0,08, 10,66 ± 0,09 e 10,91 ± 0,14 s a 7 m/s.
AutoRally real, alvo de 12 m/s, segunda série: com 1920 amostras, o passo 0,8 deu 10,70 ± 0,19 s contra 10,90 ± 0,16 s com passo 1; com 192 amostras, os passos 0,8 e 0,6 deram ambos 10,97 s contra 11,10 ± 0,17 s com passo 1.

Limitações

Um regret dinâmico pequeno não implica bom desempenho absoluto de controle; significa apenas que o plano é consistente com o objetivo de MPC escolhido.
As duas séries de experimentos no mundo real foram realizadas em condições diferentes (a segunda em uma pista ruim que limitava a velocidade máxima) e não podem ser comparadas entre si; 1920 amostras com tamanho de passo 0,6 não foram testadas por falta de tempo.
Com poucas amostras e um tamanho de passo grande (64 amostras, passo 1), o carro simulado andava devagar e de forma errática, às vezes parando.
No carro real, as novas variantes tiveram desempenho comparável ao do MPPI, e não melhor: na primeira série, o MPPI (gaussiana, passo 1) teve o menor tempo de volta em ambos os alvos de velocidade.
O modelo dinâmico do AutoRally é uma rede neural determinística ajustada a dados de direção humana, e apenas a média da distribuição de controle foi otimizada nas execuções no mundo real.

Impacto na área

Venceu o RSS 2019 Best Student Paper Award e foi finalista do RSS 2019 Best Systems Paper Award; tem 86 citações. O artigo não traz link para código ou dados.

Resumo

O controle preditivo baseado em modelo (MPC) é uma técnica poderosa para resolver tarefas de controle dinâmico. Neste artigo, mostramos que existe uma conexão estreita entre o MPC e o aprendizado online, um arcabouço teórico abstrato para analisar a tomada de decisão online na literatura de otimização. Essa nova perspectiva fornece uma base para aproveitar poderosos algoritmos de aprendizado online no projeto de algoritmos de MPC. Especificamente, propomos um novo algoritmo baseado na descida de espelho dinâmica (DMD), um algoritmo de aprendizado online projetado para cenários não estacionários. Nosso algoritmo, Dynamic Mirror Decent Model Predictive Control (DMD-MPC), representa uma família geral de algoritmos de MPC que inclui muitas técnicas existentes como casos particulares. O DMD-MPC também oferece uma nova perspectiva sobre heurísticas anteriores usadas em MPC e sugere uma forma fundamentada de projetar novos algoritmos de MPC. Na seção experimental deste artigo, demonstramos a flexibilidade do DMD-MPC, apresentando um conjunto de novos algoritmos de MPC em um cartpole simulado simples e em uma tarefa de direção agressiva simulada e no mundo real.

Open Source Robotics