Hamilton-Jacobi-Bellman Equation (HJB)

Detto anche: HJB, HJB equation
Categoria: Control › Feedback control
Tag: optimal-control, dynamic-programming, value-function, pde, safety

L'equazione alle derivate parziali la cui soluzione è la funzione di valore ottima di un problema di controllo ottimo a tempo continuo; la forma a tempo continuo del principio di ottimalità di Bellman.

Definizione

L'equazione di Hamilton-Jacobi-Bellman (HJB) (Hamilton-Jacobi-Bellman equation) è la controparte a tempo continuo dell'equazione di Bellman. Per un sistema con dinamica ẋ = f(x, u), costo di percorso ℓ(x, u) e costo terminale φ(x), il costo ottimo residuo V(x, t) soddisfa −∂V/∂t = min su u di [ ℓ(x, u) + ∇V(x, t) · f(x, u) ], con V(x, T) = φ(x) all'istante finale. L'equazione discende dal principio di ottimalità di Bellman: il costo migliore da qualsiasi stato è pari al costo del miglior primo passo infinitesimo più il costo ottimo dal punto a cui quel passo conduce. Una volta nota V, il controllo ottimo in qualsiasi stato è la u che realizza il minimo, quindi la soluzione fornisce una legge di retroazione su tutto lo spazio degli stati, non una sola traiettoria.

Per sistemi stocastici guidati da rumore, dx = f(x, u) dt + σ(x) dW, l'equazione acquista un termine del secondo ordine, ½ tr(σσᵀ ∇²V), che tiene conto della diffusione. I problemi a orizzonte infinito e con sconto danno una forma stazionaria senza la derivata temporale. Per dinamica lineare con costo quadratico, V è quadratica e l'equazione HJB si riduce all'equazione di Riccati alla base del regolatore lineare quadratico. In generale V non deve essere necessariamente differenziabile, e la nozione corretta di soluzione è la soluzione di viscosità introdotta da Crandall e Lions nel 1983. Il principio del massimo di Pontryagin è l'approccio complementare: fornisce condizioni necessarie lungo una singola traiettoria ottima invece di una funzione di valore su tutti gli stati.

L'ostacolo principale è la maledizione della dimensionalità: i solutori basati su griglia scalano in modo esponenziale con la dimensione dello stato, quindi le soluzioni esatte sono praticabili solo per sistemi con pochi stati. Molti metodi della robotica possono essere letti come modi per aggirare questo limite. La programmazione dinamica differenziale e l'iLQR sviluppano localmente la funzione di valore lungo una traiettoria; il controllo a integrale di cammino usa una trasformazione che rende lineare l'equazione HJB stocastica; i metodi di deep learning approssimano V con reti neurali, per esempio risolvendo equazioni differenziali stocastiche forward-backward equivalenti. Un'equazione strettamente correlata, l'equazione di Hamilton-Jacobi-Isaacs, descrive i giochi a due giocatori ed è alla base della raggiungibilità di Hamilton-Jacobi, che calcola insiemi di stati a partire dai quali un sistema può essere mantenuto sicuro nonostante i disturbi.

Perché è importante

L'equazione HJB è il riferimento teorico per il controllo ottimo in retroazione a tempo continuo. Collega LQR, ottimizzazione di traiettorie, metodi a integrale di cammino, sicurezza basata sulla raggiungibilità e apprendimento per rinforzo a tempo continuo, e spiega perché il controllo ottimo esatto è limitato a sistemi di bassa dimensione.

Applicazioni principali

Derivazione di controllori ottimi in retroazione, incluso l'LQR tramite l'equazione di Riccati
Raggiungibilità di Hamilton-Jacobi per la verifica della sicurezza e gli insiemi sicuri
Controllo ottimo stocastico a integrale di cammino e basato sul campionamento
Apprendimento per rinforzo a tempo continuo e approssimazione della funzione di valore
Solutori neurali e di SDE forward-backward per il controllo ottimo ad alta dimensione

In pratica

Un gruppo che progetta un controllore di sicurezza per un piccolo robot terrestre lo modella come un veicolo di tipo Dubins a tre stati con un disturbo limitato. Risolve la relativa equazione di raggiungibilità di Hamilton-Jacobi su una griglia di posizione e orientamento con un toolbox level set, ottenendo una funzione di valore il cui insieme di livello zero individua gli stati da cui una collisione può sempre essere evitata. Offline il calcolo richiede alcuni minuti; online il robot legge il valore e il suo gradiente nello stato corrente per decidere quando scavalcare il pianificatore nominale. Per un manipolatore con molti più stati, lo stesso approccio a griglia sarebbe impraticabile, quindi il gruppo ripiega su metodi locali come iLQR o su approssimazioni apprese del valore.

Idee sbagliate comuni

L'equazione HJB ha solo interesse teorico — viene risolta direttamente per sistemi di bassa dimensione nell'analisi di raggiungibilità ed è alla base di metodi pratici come LQR, DDP e MPPI
La funzione di valore è sempre liscia — in molti problemi V presenta punti angolosi, e l'equazione va intesa nel senso della viscosità
L'equazione HJB e il principio del massimo di Pontryagin danno la stessa cosa — HJB fornisce una funzione di valore e una legge di retroazione su tutti gli stati, mentre Pontryagin fornisce condizioni necessarie lungo una traiettoria

Chi dovrebbe saperlo

Ingegneri del controllo che lavorano sul controllo ottimo e sicuro
Ricercatori di analisi di raggiungibilità e verifica della sicurezza
Ricercatori di apprendimento per rinforzo che lavorano a tempo continuo
Studenti di dottorato e magistrale in teoria del controllo e robotica

Tecnologie correlate

Regolatore lineare quadratico (Linear-Quadratic Regulator, LQR)
Equazione di Riccati (Riccati Equation)
Principio del massimo di Pontryagin (Pontryagin's Maximum Principle)
Metodi level set (Level Set Methods)
Raggiungibilità di Hamilton-Jacobi (Hamilton-Jacobi Reachability)
Equazioni differenziali stocastiche forward-backward (Forward-Backward Stochastic Differential Equations)

Termini correlati

Progetti correlati

NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

Video

Nonlinear Control: Hamilton Jacobi Bellman (HJB) and Dynamic Programming: Steve Brunton