Hamilton-Jacobi-Bellman Equation (HJB)

También llamado: HJB, HJB equation
Categoría: Control › Feedback control
Etiquetas: optimal-control, dynamic-programming, value-function, pde, safety

La ecuación en derivadas parciales cuya solución es la función de valor óptima de un problema de control óptimo en tiempo continuo; la forma en tiempo continuo del principio de optimalidad de Bellman.

Definición

La ecuación de Hamilton-Jacobi-Bellman (HJB) (Hamilton-Jacobi-Bellman equation) es la contrapartida en tiempo continuo de la ecuación de Bellman. Para un sistema con dinámica ẋ = f(x, u), coste de recorrido ℓ(x, u) y coste terminal φ(x), el coste óptimo restante V(x, t) satisface −∂V/∂t = mín sobre u de [ ℓ(x, u) + ∇V(x, t) · f(x, u) ], con V(x, T) = φ(x) en el instante final. La ecuación se deduce del principio de optimalidad de Bellman: el mejor coste desde cualquier estado es igual al coste del mejor primer paso infinitesimal más el coste óptimo desde donde lleva ese paso. Una vez conocida V, el control óptimo en cualquier estado es la u que alcanza el mínimo, por lo que la solución da una política de realimentación sobre todo el espacio de estados, no solo una trayectoria.

Para sistemas estocásticos impulsados por ruido, dx = f(x, u) dt + σ(x) dW, la ecuación gana un término de segundo orden, ½ tr(σσᵀ ∇²V), que da cuenta de la difusión. Los problemas de horizonte infinito y con descuento dan una forma estacionaria sin la derivada temporal. Para dinámica lineal con coste cuadrático, V es cuadrática y la ecuación HJB se reduce a la ecuación de Riccati en la que se basa el regulador lineal cuadrático. En general V no tiene por qué ser diferenciable, y la noción correcta de solución es la solución de viscosidad introducida por Crandall y Lions en 1983. El principio del máximo de Pontryagin es el enfoque complementario: da condiciones necesarias a lo largo de una única trayectoria óptima en lugar de una función de valor sobre todos los estados.

El principal obstáculo es la maldición de la dimensionalidad: los solucionadores basados en rejillas escalan exponencialmente con la dimensión del estado, por lo que las soluciones exactas solo son prácticas para sistemas con unos pocos estados. Muchos métodos de robótica pueden leerse como formas de sortear esto. La programación dinámica diferencial y el iLQR desarrollan localmente la función de valor a lo largo de una trayectoria; el control por integral de caminos usa una transformación que hace lineal la ecuación HJB estocástica; los métodos de aprendizaje profundo aproximan V con redes neuronales, por ejemplo resolviendo ecuaciones diferenciales estocásticas progresivas-regresivas equivalentes. Una ecuación estrechamente relacionada, la ecuación de Hamilton-Jacobi-Isaacs, describe juegos de dos jugadores y sustenta la alcanzabilidad de Hamilton-Jacobi, que calcula conjuntos de estados desde los que un sistema puede mantenerse seguro a pesar de las perturbaciones.

Por qué importa

La ecuación HJB es el punto de referencia teórico del control óptimo por realimentación en tiempo continuo. Conecta el LQR, la optimización de trayectorias, los métodos de integral de caminos, la seguridad basada en alcanzabilidad y el aprendizaje por refuerzo en tiempo continuo, y explica por qué el control óptimo exacto se limita a sistemas de baja dimensión.

Aplicaciones clave

Obtención de controladores óptimos por realimentación, incluido el LQR mediante la ecuación de Riccati
Alcanzabilidad de Hamilton-Jacobi para verificación de seguridad y conjuntos seguros
Control óptimo estocástico por integral de caminos y basado en muestreo
Aprendizaje por refuerzo en tiempo continuo y aproximación de la función de valor
Solucionadores neuronales y de SDE progresivas-regresivas para control óptimo de alta dimensión

En la práctica

Un equipo que diseña un controlador de seguridad para un pequeño robot terrestre lo modela como un vehículo de tipo Dubins con tres estados y una perturbación acotada. Resuelven la ecuación de alcanzabilidad de Hamilton-Jacobi relacionada sobre una rejilla de posición y orientación con una herramienta de conjuntos de nivel, lo que da una función de valor cuyo conjunto de nivel cero marca los estados desde los que siempre se puede evitar una colisión. Offline, el cálculo lleva minutos; online, el robot consulta el valor y su gradiente en el estado actual para decidir cuándo anular el planificador nominal. Para un brazo robótico con muchos más estados, el mismo enfoque de rejilla sería inviable, por lo que el equipo recurre a métodos locales como iLQR o a aproximaciones aprendidas del valor.

Ideas erróneas comunes

La ecuación HJB solo tiene interés teórico — se resuelve directamente para sistemas de baja dimensión en el análisis de alcanzabilidad y sustenta métodos prácticos como LQR, DDP y MPPI
La función de valor siempre es suave — en muchos problemas V tiene puntos angulosos, y la ecuación debe entenderse en el sentido de viscosidad
La ecuación HJB y el principio del máximo de Pontryagin dan lo mismo — HJB da una función de valor y una ley de realimentación sobre todos los estados, mientras que Pontryagin da condiciones necesarias a lo largo de una trayectoria

Quién debería saberlo

Ingenieros de control que trabajan en control óptimo y seguro
Investigadores en análisis de alcanzabilidad y verificación de seguridad
Investigadores en aprendizaje por refuerzo que trabajan en tiempo continuo
Estudiantes de posgrado en teoría de control y robótica

Tecnologías relacionadas

Regulador lineal cuadrático (Linear-Quadratic Regulator, LQR)
Ecuación de Riccati (Riccati Equation)
Principio del máximo de Pontryagin (Pontryagin's Maximum Principle)
Métodos de conjuntos de nivel (Level Set Methods)
Alcanzabilidad de Hamilton-Jacobi (Hamilton-Jacobi Reachability)
Ecuaciones diferenciales estocásticas progresivas-regresivas (Forward-Backward Stochastic Differential Equations)

Términos relacionados

Proyectos relacionados

NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

Vídeos

Nonlinear Control: Hamilton Jacobi Bellman (HJB) and Dynamic Programming: Steve Brunton