An Online Learning Approach to Model Predictive Control

Autori: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

Licenze

• Open access
• Articolo: CC0 1.0 Universal

Tutto ciò che segue si basa sull'articolo completo, che gli autori hanno rilasciato sotto CC0 1.0 Universal; la figura è riportata citando gli autori.

In breve

Vedere l'MPC come apprendimento online dà DMD-MPC, una famiglia che contiene MPPI e CEM, espone il loro passo come parametro di regolazione e gira su un'auto AutoRally in scala 1:5.

Perché è importante

Il quadro trasforma la progettazione dell'MPC nella scelta di una loss, di una distribuzione di controllo e di una divergenza, e rende il passo un parametro esplicito. Nelle prove simulate con AutoRally, un passo più piccolo ha permesso al controller di mantenere gran parte delle prestazioni con molti meno campioni, cosa che gli autori indicano per i sistemi embedded che non possono generare molti rollout.

Problema

Algoritmi MPC come MPPI e il metodo dell'entropia incrociata sono stati derivati da ipotesi ed euristiche diverse, quindi non esiste una ricetta comune per progettarli o regolarli. Le loro regole di aggiornamento fissano scelte progettuali, come un passo pari a 1, che non sono necessariamente ottimali, il che conta quando la capacità di calcolo limita quanti rollout si possono campionare.

Soluzione proposta

Gli autori mappano l'MPC sull'apprendimento online: ogni passo di controllo è un round, la decisione è il parametro di una distribuzione di controllo e la loss per round è l'obiettivo dell'MPC nello stato corrente. Applicando la discesa a specchio dinamica, con l'operatore di traslazione dell'MPC come modello predittivo, si ottiene DMD-MPC, una famiglia definita da tre scelte: la loss (costo atteso, probabilità di basso costo o utilità esponenziale), la distribuzione di controllo (ad es. gaussiana, categorica, Laplace) e la divergenza di Bregman. MPPI e CEM si ritrovano come casi particolari con passo 1.

Idee chiave

• Avviare a caldo l'MPC dalla soluzione precedente traslata svolge il ruolo del modello predittivo nella discesa a specchio dinamica, e il regret dinamico misura quanto il piano resta coerente con l'obiettivo dell'MPC.
• MPPI deriva dalla loss di utilità esponenziale e CEM dalla loss di probabilità di basso costo, entrambi con passo 1; il passo è un parametro libero che gli algoritmi originali fissano.
• Per distribuzioni di controllo della famiglia esponenziale, l'aggiornamento è una combinazione convessa del parametro di aspettazione precedente e delle statistiche sufficienti pesate dall'utilità.
• Le loss basate sull'utilità danno un peso quasi nullo ai rollout ad alto costo; con la semplice loss di costo atteso, i rollout che escono di pista dominano la stima del gradiente e l'auto procedeva lentamente o urtava le pareti.
• I controlli discreti sono gestiti con una distribuzione categorica e un aggiornamento a gradiente esponenziato, e il costo può essere discontinuo, come una funzione indicatrice.

Risultati principali

• Cartpole in simulazione, con un modello distorto (asta di 0,346 m nel modello contro 0,326 m reali): con controlli continui, passi superiori a 1 hanno dato guadagni significativi rispetto al passo 1 usato in MPPI e CEM su un ampio intervallo di parametri di utilità.
• AutoRally simulato: i guadagni sono stati piccoli oltre 1920 campioni per gradiente, e con un passo adeguato 192 campioni hanno dato tempi sul giro entro un paio di secondi da quelli con 3840 campioni a passo 1.
• AutoRally simulato con la loss di costo atteso: le prestazioni sono state drasticamente peggiori anche con 3840 campioni; nel caso migliore l'auto è rimasta al centro della pista sotto i 4 m/s.
• AutoRally reale, 1920 campioni: tempi sul giro di 9,71 ± 0,17 s (gaussiana, passo 1, cioè MPPI), 9,76 ± 0,14 s (gaussiana, passo 0,9) e 10,03 ± 0,16 s (Laplace, passo 0,9) con obiettivo di 13 m/s; 10,49 ± 0,08, 10,66 ± 0,09 e 10,91 ± 0,14 s a 7 m/s.
• AutoRally reale, obiettivo di 12 m/s, seconda serie: con 1920 campioni, il passo 0,8 ha dato 10,70 ± 0,19 s contro 10,90 ± 0,16 s a passo 1; con 192 campioni, i passi 0,8 e 0,6 hanno dato entrambi 10,97 s contro 11,10 ± 0,17 s a passo 1.

Limiti

• Un regret dinamico piccolo non implica buone prestazioni di controllo in assoluto; significa solo che il piano è coerente con l'obiettivo MPC scelto.
• Le due serie di esperimenti nel mondo reale si sono svolte in condizioni diverse (la seconda su una pista in cattivo stato che limitava la velocità massima) e non possono essere confrontate tra loro; 1920 campioni a passo 0,6 non sono stati testati per mancanza di tempo.
• Con pochi campioni e un passo grande (64 campioni, passo 1), l'auto simulata procedeva lentamente e in modo irregolare, talvolta fermandosi.
• Sull'auto reale le nuove varianti hanno avuto prestazioni comparabili a MPPI, non migliori: nella prima serie MPPI (gaussiana, passo 1) ha avuto il tempo sul giro più basso con entrambi gli obiettivi di velocità.
• Il modello dinamico di AutoRally è una rete neurale deterministica adattata a dati di guida umana, e nelle prove nel mondo reale è stata ottimizzata solo la media della distribuzione di controllo.

Impatto sul settore

Ha vinto l'RSS 2019 Best Student Paper Award ed è stato finalista dell'RSS 2019 Best Systems Paper Award; ha 86 citazioni. L'articolo non rimanda a codice o dati.

Abstract

Il controllo predittivo basato su modello (MPC) è una tecnica potente per risolvere compiti di controllo dinamico. In questo articolo mostriamo che esiste uno stretto legame tra l'MPC e l'apprendimento online, un quadro teorico astratto per analizzare il processo decisionale online nella letteratura sull'ottimizzazione. Questa nuova prospettiva fornisce una base per sfruttare potenti algoritmi di apprendimento online nella progettazione di algoritmi MPC. In particolare, proponiamo un nuovo algoritmo basato sulla discesa a specchio dinamica (DMD), un algoritmo di apprendimento online progettato per contesti non stazionari. Il nostro algoritmo, Dynamic Mirror Decent Model Predictive Control (DMD-MPC), rappresenta una famiglia generale di algoritmi MPC che include molte tecniche esistenti come casi particolari. DMD-MPC offre inoltre una prospettiva nuova sulle euristiche precedentemente usate nell'MPC e suggerisce un modo fondato di progettare nuovi algoritmi MPC. Nella sezione sperimentale di questo articolo dimostriamo la flessibilità di DMD-MPC, presentando un insieme di nuovi algoritmi MPC su un semplice cartpole simulato e su un compito di guida aggressiva simulato e reale.

Link

• arXiv 1902.08967: https://arxiv.org/abs/1902.08967
• DOI 10.48550/arXiv.1902.08967: https://doi.org/10.48550/arXiv.1902.08967
• PDF: https://arxiv.org/pdf/1902.08967v1