An Online Learning Approach to Model Predictive Control

Autoren: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

Lizenzen

Open Access
Paper: CC0 1.0 Universal

Alles Folgende stützt sich auf das vollständige Paper, das die Autoren unter CC0 1.0 Universal freigegeben haben; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

MPC als Online-Lernen betrachtet ergibt DMD-MPC, eine Familie, die MPPI und CEM enthält, deren Schrittweite als Stellgröße offenlegt und auf einem AutoRally-Fahrzeug im Maßstab 1:5 läuft.

Warum es wichtig ist

Der Rahmen macht den MPC-Entwurf zur Wahl eines Loss, einer Steuerungsverteilung und einer Divergenz und macht die Schrittweite zu einem expliziten Parameter. In den simulierten AutoRally-Durchläufen ließ eine kleinere Schrittweite den Regler mit weit weniger Samples den Großteil seiner Leistung behalten, was die Autoren für eingebettete Systeme hervorheben, die nicht viele Rollouts ziehen können.

Problem

MPC-Algorithmen wie MPPI und die Cross-Entropy-Methode wurden aus unterschiedlichen Annahmen und Heuristiken hergeleitet, sodass es kein gemeinsames Rezept für ihren Entwurf oder ihre Abstimmung gibt. Ihre Update-Regeln legen Entwurfsentscheidungen fest, etwa eine Schrittweite von 1, die nicht unbedingt optimal sind, was wichtig wird, wenn die Rechenleistung begrenzt, wie viele Rollouts gesampelt werden können.

Lösungsansatz

Die Autoren bilden MPC auf Online-Lernen ab: Jeder Regelschritt ist eine Runde, die Entscheidung ist der Parameter einer Steuerungsverteilung, und der Loss pro Runde ist das MPC-Ziel im aktuellen Zustand. Die Anwendung von Dynamic Mirror Descent mit dem MPC-Verschiebungsoperator als prädiktivem Modell ergibt DMD-MPC, eine Familie, die durch drei Wahlen definiert ist: den Loss (erwartete Kosten, Wahrscheinlichkeit niedriger Kosten oder exponentieller Nutzen), die Steuerungsverteilung (z. B. Gauß-, kategoriale oder Laplace-Verteilung) und die Bregman-Divergenz. MPPI und CEM ergeben sich als Spezialfälle mit Schrittweite 1.

Wichtigste Erkenntnisse

Der Warmstart der MPC aus der verschobenen vorherigen Lösung übernimmt die Rolle des prädiktiven Modells im Dynamic Mirror Descent, und der dynamische Regret misst, wie konsistent der Plan mit dem MPC-Ziel bleibt.
MPPI folgt aus dem Loss des exponentiellen Nutzens und CEM aus dem Loss der Wahrscheinlichkeit niedriger Kosten, beide mit Schrittweite 1; die Schrittweite ist ein freier Parameter, den die ursprünglichen Algorithmen festlegen.
Für Steuerungsverteilungen aus der Exponentialfamilie ist das Update eine konvexe Kombination aus dem vorherigen Erwartungsparameter und den nutzengewichteten suffizienten Statistiken.
Nutzenbasierte Losses geben Rollouts mit hohen Kosten ein Gewicht nahe null; mit dem einfachen Loss der erwarteten Kosten dominieren Rollouts, die die Strecke verlassen, die Gradientenschätzung, und das Fahrzeug fuhr langsam oder prallte gegen Wände.
Diskrete Steuerungen werden mit einer kategorialen Verteilung und einem Exponentiated-Gradient-Update behandelt, und die Kosten dürfen unstetig sein, etwa eine Indikatorfunktion.

Hauptergebnisse

Cartpole in der Simulation mit verzerrtem Modell (0,346 m Stab im Modell gegenüber 0,326 m in Wirklichkeit): Bei kontinuierlichen Steuerungen brachten Schrittweiten über 1 über einen großen Bereich von Nutzenparametern deutliche Gewinne gegenüber der in MPPI und CEM verwendeten Schrittweite 1.
Simulierter AutoRally: Oberhalb von 1920 Samples pro Gradient waren die Gewinne gering, und mit passender Schrittweite ergaben 192 Samples Rundenzeiten, die nur wenige Sekunden von denen mit 3840 Samples bei Schrittweite 1 entfernt lagen.
Simulierter AutoRally mit dem Loss der erwarteten Kosten: Die Leistung war selbst mit 3840 Samples dramatisch schlechter; bestenfalls blieb das Fahrzeug unter 4 m/s in der Streckenmitte.
Realer AutoRally, 1920 Samples: Rundenzeiten von 9,71 ± 0,17 s (Gauß, Schritt 1, d. h. MPPI), 9,76 ± 0,14 s (Gauß, Schritt 0,9) und 10,03 ± 0,16 s (Laplace, Schritt 0,9) bei einem Ziel von 13 m/s; 10,49 ± 0,08, 10,66 ± 0,09 und 10,91 ± 0,14 s bei 7 m/s.
Realer AutoRally, Ziel 12 m/s, zweite Serie: Mit 1920 Samples ergab Schritt 0,8 10,70 ± 0,19 s gegenüber 10,90 ± 0,16 s bei Schritt 1; mit 192 Samples ergaben die Schritte 0,8 und 0,6 jeweils 10,97 s gegenüber 11,10 ± 0,17 s bei Schritt 1.

Einschränkungen

Ein kleiner dynamischer Regret bedeutet keine gute absolute Regelgüte; er heißt nur, dass der Plan mit dem gewählten MPC-Ziel konsistent ist.
Die beiden realen Versuchsreihen liefen unter unterschiedlichen Bedingungen (die zweite auf einer schlechten Strecke, die die Höchstgeschwindigkeit begrenzte) und sind nicht miteinander vergleichbar; 1920 Samples bei Schrittweite 0,6 wurden aus Zeitmangel nicht getestet.
Mit wenigen Samples und großer Schrittweite (64 Samples, Schritt 1) fuhr das simulierte Fahrzeug langsam und unstet und hielt manchmal an.
Auf dem realen Fahrzeug schnitten die neuen Varianten vergleichbar mit MPPI ab, nicht besser: In der ersten Serie hatte MPPI (Gauß, Schritt 1) bei beiden Zielgeschwindigkeiten die niedrigste Rundenzeit.
Das Dynamikmodell des AutoRally ist ein deterministisches neuronales Netz, das an menschliche Fahrdaten angepasst wurde, und in den realen Fahrten wurde nur der Mittelwert der Steuerungsverteilung optimiert.

Wirkung auf das Fachgebiet

Gewann den RSS 2019 Best Student Paper Award und war Finalist für den RSS 2019 Best Systems Paper Award; es hat 86 Zitationen. Das Paper verlinkt weder Code noch Daten.

Zusammenfassung

Modellprädiktive Regelung (MPC) ist eine leistungsfähige Technik zur Lösung dynamischer Regelungsaufgaben. In diesem Paper zeigen wir, dass eine enge Verbindung zwischen MPC und Online-Lernen besteht, einem abstrakten theoretischen Rahmen zur Analyse von Online-Entscheidungen in der Optimierungsliteratur. Diese neue Perspektive bietet eine Grundlage, um leistungsfähige Online-Lernalgorithmen für den Entwurf von MPC-Algorithmen zu nutzen. Konkret schlagen wir einen neuen Algorithmus auf Basis von Dynamic Mirror Descent (DMD) vor, einem Online-Lernalgorithmus, der für nichtstationäre Szenarien ausgelegt ist. Unser Algorithmus, Dynamic Mirror Decent Model Predictive Control (DMD-MPC), stellt eine allgemeine Familie von MPC-Algorithmen dar, die viele bestehende Techniken als Spezialfälle enthält. DMD-MPC bietet zudem eine neue Sicht auf bisherige in der MPC verwendete Heuristiken und zeigt einen prinzipientreuen Weg auf, neue MPC-Algorithmen zu entwerfen. Im experimentellen Teil dieses Papers demonstrieren wir die Flexibilität von DMD-MPC, indem wir eine Reihe neuer MPC-Algorithmen an einem einfachen simulierten Cartpole sowie an einer simulierten und realen Aufgabe zum aggressiven Fahren vorstellen.

Open Source Robotics