Parameterized Differential Dynamic Programming

Autores: Alex Oshin, Matthew D. Houghton, Michael J. Acheson, Irene M. Gregory, Evangelos A. Theodorou · RSS 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

A PDDP acrescenta parâmetros invariantes no tempo à DDP para que controles e parâmetros recebam atualizações conjuntas de segunda ordem; é usada para identificação online do modelo em MPC e para definir os instantes de troca de modo de voo.

Por que importa

Um único solver de segunda ordem pode identificar parâmetros do modelo online enquanto controla o sistema, e pode escolher quanto tempo um sistema híbrido passa em cada modo. O artigo relata, pelo que os autores sabem, o primeiro uso de otimização de tempos de chaveamento para planejar transições entre regimes de voo, aplicada ao conceito VTOL Lift+Cruise da NASA.

Problema

Muitos problemas de planejamento de robôs envolvem parâmetros invariantes no tempo desconhecidos ou ajustáveis, como a massa de uma carga útil ou o tempo gasto em cada modo de um sistema híbrido. Abordagens anteriores baseadas em DDP atualizavam esses parâmetros por meio da condição inicial da trajetória, o que desloca toda a trajetória nominal e prejudica a convergência. A otimização de trajetórias de sistemas híbridos também se concentrou sobretudo em robôs com pernas com modelos reduzidos, com pouco trabalho sobre aeronaves como os veículos de mobilidade aérea urbana que alternam entre voo pairado, transição e cruzeiro.

Solução proposta

Os autores formulam um objetivo geral de controle ótimo em que os parâmetros entram tanto na dinâmica quanto no custo, e derivam a Parameterized DDP: a passada para trás expande a função valor em estado e parâmetros, gerando ganhos de controle, uma atualização feedforward dos parâmetros e um termo de realimentação que mantém os controles estáveis quando os parâmetros mudam. Eles provam a convergência para um ponto estacionário a partir de qualquer inicialização sob uma condição de busca linear e com regularização, e comparam atualizar controles e parâmetros de forma simultânea, alternada ou somente depois que os controles convergem (STO-DDP). O mesmo algoritmo é aplicado à estimação de horizonte móvel executada junto com o MPC e à otimização de tempos de chaveamento com um número fixo de passos por modo, integração em subpassos e um solver de Newton projetado que mantém as escalas de tempo não negativas.

Principais ideias

Tratar os parâmetros explicitamente dentro da dinâmica e do custo, em vez de por meio do estado inicial, gera atualizações conjuntas de segunda ordem de controles e parâmetros, qualquer que seja a forma como os parâmetros são definidos.
Alternar entre atualizações dos controles e atualizações dos parâmetros escapou de mínimos locais melhor do que atualizar ambos ao mesmo tempo ou esperar os controles convergirem.
Combinar a estimação de horizonte móvel com MPC permite que o controlador corrija em poucos passos um modelo muito errado e depois alcance o objetivo.
Em problemas de tempos de chaveamento, manter constante o número de passos de tempo por modo e integrar com subpassos menores preserva as propriedades de convergência e evita falhas numéricas.

Principais resultados

Quadrirrotor com MHE+MPC: as estimativas de massa e inércia passaram de chutes iniciais de 1 kg e 1 kg·m² para os valores reais de 0,468 kg e 4,856×10⁻³ / 8,801×10⁻³ kg·m² em 15 passos de MHE (menos de 0,2 s de tempo de execução); em seguida o veículo atingiu o alvo em 3 s no total.
Quadrúpede Ant (física Brax, estado de 117 dimensões): os comprimentos das pernas passaram de 1,0 m e 2,0 m para os valores reais de 0,443 m e 0,726 m em 4 passos de MHE.
Cartpole: a massa do pêndulo foi estimada corretamente (0,5 kg reais a partir de 2 kg iniciais) em 50 passos depois que o pêndulo começou a se mover; houve pouco progresso nos primeiros 15 passos.
Tarefa de tempos de chaveamento de cartpole com vários alvos, 1000 inicializações aleatórias: o esquema alternado atingiu em média um custo cerca de meia ordem de grandeza menor que o esquema simultâneo e que o STO-DDP.
NASA Lift+Cruise (500 inicializações): uma decolagem vertical de tempo ótimo de 5,63 s seguida de 9,79 s para atingir a velocidade de cruzeiro; a manobra inversa desacelerou do cruzeiro até o voo pairado em menos de 500 ft em 6,87 s e pousou em 4,87 s.
Uma implementação em MATLAB só com CPU levou cerca de 1,5 s por iteração na tarefa Lift+Cruise em um Intel i7-9850H, e menos de 1 s por iteração nas demais tarefas.

Limitações

Os autores consideram o tempo de execução bastante lento para MPC (cerca de 1,5 s por iteração na tarefa Lift+Cruise) e dizem que é preciso melhor paralelização para uso em tempo real.
O esquema simultâneo depende fortemente da trajetória de controle inicial (foi inicializado com 5 iterações de DDP padrão) e caiu em soluções ruins nas tarefas do quadrirrotor e do Lift+Cruise.
Na tarefa Lift+Cruise o esquema alternado ficou atrás do STO-DDP nas primeiras 50 iterações, enquanto os controles ainda eram ruins.
O método supõe observabilidade completa do estado e dinâmica e custos duas vezes diferenciáveis em estados, controles e parâmetros; a convergência depende de regularização para manter as hessianas definidas positivas.
Todos os experimentos são em simulação; não são relatados testes em hardware.

Impacto na área

O artigo foi finalista do prêmio de melhor artigo de estudante do RSS 2022 (Best Student Paper Award). Não menciona nenhuma liberação de código ou dados.

Resumo

A programação dinâmica diferencial (Differential Dynamic Programming, DDP) é um algoritmo eficiente de otimização de trajetórias que se baseia em aproximações de segunda ordem da dinâmica e da função de custo de um sistema, e recentemente foi aplicada para otimizar sistemas com parâmetros invariantes no tempo. Os trabalhos anteriores incluem a estimação de parâmetros do sistema e a identificação do instante ótimo de chaveamento entre modos de sistemas dinâmicos híbridos. Este artigo generaliza o trabalho anterior propondo um objetivo geral de controle ótimo parametrizado e derivando uma versão paramétrica da DDP, chamada Parameterized Differential Dynamic Programming (PDDP). É apresentada uma análise rigorosa de convergência do algoritmo, e mostra-se que a PDDP converge para um mínimo do custo independentemente da inicialização. São analisados os efeitos de variar a otimização para escapar de forma mais eficaz de mínimos locais. São apresentados experimentos que aplicam a PDDP a vários sistemas robóticos para resolver simultaneamente tarefas de controle preditivo baseado em modelo (MPC) e de estimação de horizonte móvel (MHE). Por fim, a PDDP é usada para determinar o ponto ótimo de transição entre regimes de voo de um veículo complexo da classe de mobilidade aérea urbana (UAM) que apresenta múltiplas fases de voo.

Open Source Robotics