Hamilton-Jacobi-Bellman Equation (HJB)

Auch genannt: HJB, HJB equation
Kategorie: Control › Feedback control
Schlagwörter: optimal-control, dynamic-programming, value-function, pde, safety

Die partielle Differentialgleichung, deren Lösung die optimale Wertfunktion eines zeitkontinuierlichen Optimalsteuerungsproblems ist; die zeitkontinuierliche Form von Bellmans Optimalitätsprinzip.

Definition

Die Hamilton-Jacobi-Bellman-Gleichung (HJB-Gleichung) (Hamilton-Jacobi-Bellman equation) ist das zeitkontinuierliche Gegenstück zur Bellman-Gleichung. Für ein System mit der Dynamik ẋ = f(x, u), den laufenden Kosten ℓ(x, u) und den Endkosten φ(x) erfüllen die optimalen Restkosten V(x, t) die Gleichung −∂V/∂t = min over u of [ ℓ(x, u) + ∇V(x, t) · f(x, u) ], mit V(x, T) = φ(x) zum Endzeitpunkt. Die Gleichung folgt aus Bellmans Optimalitätsprinzip: Die besten Kosten ab einem beliebigen Zustand sind gleich den Kosten des besten ersten infinitesimalen Schritts plus den optimalen Kosten ab dem Ort, zu dem dieser Schritt führt. Ist V bekannt, ist die optimale Stellgröße in jedem Zustand das u, das das Minimum erreicht; die Lösung liefert also ein Rückführungsgesetz über den gesamten Zustandsraum, nicht nur eine einzelne Trajektorie.

Für stochastische, durch Rauschen getriebene Systeme dx = f(x, u) dt + σ(x) dW erhält die Gleichung einen Term zweiter Ordnung, ½ tr(σσᵀ ∇²V), der die Diffusion berücksichtigt. Probleme mit unendlichem Horizont und diskontierte Probleme ergeben eine stationäre Form ohne die Zeitableitung. Bei linearer Dynamik mit quadratischen Kosten ist V quadratisch, und die HJB-Gleichung reduziert sich auf die Riccati-Gleichung, die dem linear-quadratischen Regler zugrunde liegt. Im Allgemeinen muss V nicht differenzierbar sein, und der richtige Lösungsbegriff ist die von Crandall und Lions 1983 eingeführte Viskositätslösung. Pontrjagins Maximumprinzip ist der komplementäre Ansatz: Es liefert notwendige Bedingungen entlang einer einzelnen optimalen Trajektorie statt einer Wertfunktion über alle Zustände.

Das Haupthindernis ist der Fluch der Dimensionalität: Gitterbasierte Löser skalieren exponentiell mit der Zustandsdimension, sodass exakte Lösungen nur für Systeme mit einer Handvoll Zuständen praktikabel sind. Viele Methoden der Robotik lassen sich als Wege um dieses Problem herum lesen. Differential Dynamic Programming und iLQR entwickeln die Wertfunktion lokal entlang einer Trajektorie; Pfadintegralregelung nutzt eine Transformation, die die stochastische HJB-Gleichung linear macht; Deep-Learning-Methoden approximieren V mit neuronalen Netzen, etwa durch Lösen äquivalenter vorwärts-rückwärts-stochastischer Differentialgleichungen. Eine eng verwandte Gleichung, die Hamilton-Jacobi-Isaacs-Gleichung, beschreibt Zwei-Spieler-Spiele und liegt der Hamilton-Jacobi-Erreichbarkeitsanalyse (Hamilton-Jacobi reachability) zugrunde, die Mengen von Zuständen berechnet, aus denen ein System trotz Störungen sicher gehalten werden kann.

Warum es wichtig ist

Die HJB-Gleichung ist der theoretische Bezugspunkt für optimale Rückführregelung in kontinuierlicher Zeit. Sie verbindet LQR, Trajektorienoptimierung, Pfadintegralmethoden, erreichbarkeitsbasierte Sicherheit und zeitkontinuierliches Reinforcement Learning und erklärt, warum exakte optimale Steuerung auf niedrigdimensionale Systeme beschränkt ist.

Wichtige Anwendungen

Herleitung optimaler Rückführregler, einschließlich LQR über die Riccati-Gleichung
Hamilton-Jacobi-Erreichbarkeitsanalyse für Sicherheitsverifikation und sichere Mengen
Pfadintegrale und sampling-basierte stochastische Optimalsteuerung
Zeitkontinuierliches Reinforcement Learning und Approximation der Wertfunktion
Neuronale Löser und Vorwärts-Rückwärts-SDE-Löser für hochdimensionale Optimalsteuerung

In der Praxis

Ein Team, das einen Sicherheitsregler für einen kleinen Bodenroboter entwirft, modelliert ihn als Fahrzeug nach Dubins-Art mit drei Zuständen und einer beschränkten Störung. Es löst die verwandte Hamilton-Jacobi-Erreichbarkeitsgleichung auf einem Gitter über Position und Kurswinkel mit einer Level-Set-Toolbox, was eine Wertfunktion ergibt, deren Nullniveaumenge die Zustände markiert, aus denen sich eine Kollision immer vermeiden lässt. Offline dauert die Berechnung Minuten; online schlägt der Roboter den Wert und seinen Gradienten am aktuellen Zustand nach, um zu entscheiden, wann er den nominalen Planer übersteuert. Für einen Manipulator mit deutlich mehr Zuständen wäre derselbe Gitteransatz nicht durchführbar, daher greift das Team auf lokale Methoden wie iLQR oder gelernte Wertapproximationen zurück.

Häufige Missverständnisse

Die HJB-Gleichung ist nur von theoretischem Interesse — für niedrigdimensionale Systeme wird sie in der Erreichbarkeitsanalyse direkt gelöst, und sie liegt praktischen Methoden wie LQR, DDP und MPPI zugrunde
Die Wertfunktion ist immer glatt — in vielen Problemen hat V Knicke, und die Gleichung muss im Viskositätssinn verstanden werden
Die HJB-Gleichung und Pontrjagins Maximumprinzip liefern dasselbe — HJB liefert eine Wertfunktion und ein Rückführungsgesetz über alle Zustände, Pontrjagin dagegen notwendige Bedingungen entlang einer Trajektorie

Wer das wissen sollte

Regelungstechniker, die an optimaler und sicherer Regelung arbeiten
Forscher in Erreichbarkeitsanalyse und Sicherheitsverifikation
Forscher im Reinforcement Learning, die in kontinuierlicher Zeit arbeiten
Masterstudierende und Promovierende in Regelungstheorie und Robotik

Videos

Nonlinear Control: Hamilton Jacobi Bellman (HJB) and Dynamic Programming: Steve Brunton

Open Source Robotics