Parameterized Differential Dynamic Programming

Autori: Alex Oshin, Matthew D. Houghton, Michael J. Acheson, Irene M. Gregory, Evangelos A. Theodorou · RSS 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

PDDP aggiunge a DDP parametri tempo-invarianti, così controlli e parametri ricevono aggiornamenti congiunti del secondo ordine; è usata per l'identificazione online del modello in MPC e per fissare gli istanti dei cambi di modo di volo.

Perché è importante

Un unico solver del secondo ordine può identificare online i parametri del modello mentre controlla il sistema, e può scegliere quanto tempo un sistema ibrido trascorre in ciascun modo. L'articolo riporta, per quanto noto agli autori, il primo uso dell'ottimizzazione degli istanti di commutazione per pianificare le transizioni tra regimi di volo, applicata al concept VTOL Lift+Cruise della NASA.

Problema

Molti problemi di pianificazione robotica coinvolgono parametri tempo-invarianti sconosciuti o regolabili, come la massa di un carico utile o il tempo trascorso in ciascun modo di un sistema ibrido. I precedenti approcci basati su DDP aggiornavano tali parametri attraverso la condizione iniziale della traiettoria, il che sposta l'intera traiettoria nominale e peggiora la convergenza. Inoltre l'ottimizzazione di traiettorie per sistemi ibridi si è concentrata soprattutto su robot con gambe con modelli ridotti, con pochi lavori su velivoli come quelli della mobilità aerea urbana che passano tra volo stazionario, transizione e crociera.

Soluzione proposta

Gli autori scrivono un obiettivo generale di controllo ottimo in cui i parametri entrano sia nella dinamica sia nel costo, e derivano Parameterized DDP: il passo all'indietro espande la funzione valore in stato e parametri, ottenendo guadagni di controllo, un aggiornamento in feedforward dei parametri e un termine di retroazione che mantiene stabili i controlli quando i parametri cambiano. Dimostrano la convergenza a un punto stazionario da qualsiasi inizializzazione sotto una condizione di line search e con regolarizzazione, e confrontano l'aggiornamento di controlli e parametri in modo simultaneo, alternato o solo dopo la convergenza dei controlli (STO-DDP). Lo stesso algoritmo è applicato alla stima a orizzonte mobile eseguita insieme a MPC e all'ottimizzazione degli istanti di commutazione con un numero fisso di passi per modo, integrazione a sottopassi e un solver di Newton proiettato che mantiene non negative le scale temporali.

Idee chiave

• Trattare i parametri esplicitamente all'interno della dinamica e del costo, invece che attraverso lo stato iniziale, fornisce aggiornamenti congiunti del secondo ordine di controlli e parametri, comunque i parametri siano definiti.
• Alternare aggiornamenti dei controlli e aggiornamenti dei parametri è sfuggito ai minimi locali meglio che aggiornare entrambi insieme o attendere la convergenza dei controlli.
• Combinare la stima a orizzonte mobile con MPC permette al controllore di correggere in pochi passi un modello molto sbagliato e poi raggiungere l'obiettivo.
• Nei problemi di istanti di commutazione, mantenere costante il numero di passi temporali per modo e integrare con sottopassi più piccoli preserva le proprietà di convergenza ed evita fallimenti numerici.

Risultati principali

• Quadrirotore con MHE+MPC: le stime di massa e inerzia sono passate da valori iniziali di 1 kg e 1 kg·m² ai valori reali di 0,468 kg e 4,856×10⁻³ / 8,801×10⁻³ kg·m² entro 15 passi di MHE (meno di 0,2 s di tempo di esecuzione); il veicolo ha poi raggiunto il bersaglio in 3 s in totale.
• Quadrupede Ant (fisica Brax, stato a 117 dimensioni): le lunghezze delle gambe sono passate da 1,0 m e 2,0 m ai valori reali di 0,443 m e 0,726 m entro 4 passi di MHE.
• Cartpole: la massa dell'asta è stata stimata correttamente (0,5 kg reali partendo da 2 kg iniziali) entro 50 passi una volta che l'asta ha iniziato a muoversi; nei primi 15 passi i progressi sono stati scarsi.
• Compito di istanti di commutazione su cartpole con più bersagli, 1000 inizializzazioni casuali: lo schema alternato ha raggiunto in media un costo inferiore di circa mezzo ordine di grandezza rispetto allo schema simultaneo e a STO-DDP.
• NASA Lift+Cruise (500 inizializzazioni): un decollo verticale a tempo ottimo di 5,63 s seguito da 9,79 s per raggiungere la velocità di crociera; la manovra inversa ha rallentato dalla crociera al volo stazionario entro 500 ft in 6,87 s ed è atterrata in 4,87 s.
• Un'implementazione MATLAB solo su CPU ha richiesto circa 1,5 s per iterazione nel compito Lift+Cruise su un Intel i7-9850H, e meno di 1 s per iterazione negli altri compiti.

Limiti

• Gli autori definiscono il tempo di esecuzione piuttosto lento per MPC (circa 1,5 s per iterazione nel compito Lift+Cruise) e affermano che serve una migliore parallelizzazione per l'uso in tempo reale.
• Lo schema simultaneo dipende molto dalla traiettoria di controllo iniziale (è stato inizializzato con 5 iterazioni di DDP standard) ed è caduto in soluzioni scadenti nei compiti del quadrirotore e di Lift+Cruise.
• Nel compito Lift+Cruise lo schema alternato è rimasto dietro a STO-DDP per le prime 50 iterazioni, finché i controlli erano ancora scadenti.
• Il metodo presuppone l'osservabilità completa dello stato e una dinamica e costi due volte differenziabili in stati, controlli e parametri; la convergenza si basa sulla regolarizzazione per mantenere le hessiane definite positive.
• Tutti gli esperimenti sono in simulazione; non sono riportate prove su hardware.

Impatto sul settore

L'articolo è stato finalista del premio per il miglior articolo studentesco di RSS 2022 (Best Student Paper Award). Non indica alcun rilascio di codice o dati.

Abstract

La programmazione dinamica differenziale (Differential Dynamic Programming, DDP) è un algoritmo efficiente di ottimizzazione di traiettorie che si basa su approssimazioni del secondo ordine della dinamica e della funzione di costo di un sistema, ed è stata recentemente applicata all'ottimizzazione di sistemi con parametri tempo-invarianti. I lavori precedenti comprendono la stima dei parametri del sistema e l'individuazione dell'istante di commutazione ottimale tra i modi di sistemi dinamici ibridi. Questo articolo generalizza il lavoro precedente proponendo un obiettivo generale di controllo ottimo parametrizzato e derivando una versione parametrica della DDP, denominata Parameterized Differential Dynamic Programming (PDDP). Viene fornita un'analisi rigorosa della convergenza dell'algoritmo e si dimostra che PDDP converge a un minimo del costo indipendentemente dall'inizializzazione. Si analizzano gli effetti di variare l'ottimizzazione per sfuggire più efficacemente ai minimi locali. Si presentano esperimenti che applicano PDDP a diversi sistemi robotici per risolvere simultaneamente compiti di controllo predittivo basato su modello (MPC) e di stima a orizzonte mobile (MHE). Infine, PDDP viene usata per determinare il punto di transizione ottimale tra i regimi di volo di un veicolo complesso della classe della mobilità aerea urbana (UAM) che presenta più fasi di volo.

Link

• arXiv 2204.03727: https://arxiv.org/abs/2204.03727
• PDF: https://arxiv.org/pdf/2204.03727v1