Hamilton-Jacobi-Bellman Equation (HJB)

Também chamado: HJB, HJB equation
Categoria: Control › Feedback control
Tags: optimal-control, dynamic-programming, value-function, pde, safety

A equação diferencial parcial cuja solução é a função de valor ótima de um problema de controle ótimo em tempo contínuo; a forma em tempo contínuo do princípio de otimalidade de Bellman.

Definição

A equação de Hamilton-Jacobi-Bellman (HJB) (Hamilton-Jacobi-Bellman equation) é a contrapartida em tempo contínuo da equação de Bellman. Para um sistema com dinâmica ẋ = f(x, u), custo de percurso ℓ(x, u) e custo terminal φ(x), o custo ótimo restante V(x, t) satisfaz −∂V/∂t = mín em u de [ ℓ(x, u) + ∇V(x, t) · f(x, u) ], com V(x, T) = φ(x) no instante final. A equação decorre do princípio de otimalidade de Bellman: o melhor custo a partir de qualquer estado é igual ao custo do melhor primeiro passo infinitesimal mais o custo ótimo a partir de onde esse passo leva. Uma vez conhecida V, o controle ótimo em qualquer estado é o u que atinge o mínimo, de modo que a solução fornece uma política de realimentação sobre todo o espaço de estados, e não apenas uma trajetória.

Para sistemas estocásticos acionados por ruído, dx = f(x, u) dt + σ(x) dW, a equação ganha um termo de segunda ordem, ½ tr(σσᵀ ∇²V), que leva em conta a difusão. Problemas de horizonte infinito e com desconto dão uma forma estacionária sem a derivada temporal. Para dinâmica linear com custo quadrático, V é quadrática e a equação HJB se reduz à equação de Riccati por trás do regulador linear quadrático. Em geral, V não precisa ser diferenciável, e a noção correta de solução é a solução de viscosidade introduzida por Crandall e Lions em 1983. O princípio do máximo de Pontryagin é a abordagem complementar: ele fornece condições necessárias ao longo de uma única trajetória ótima, em vez de uma função de valor sobre todos os estados.

O principal obstáculo é a maldição da dimensionalidade: solvers baseados em grade escalam exponencialmente com a dimensão do estado, de modo que soluções exatas só são práticas para sistemas com poucos estados. Muitos métodos de robótica podem ser lidos como formas de contornar isso. A programação dinâmica diferencial e o iLQR expandem a função de valor localmente ao longo de uma trajetória; o controle por integral de caminho usa uma transformação que torna linear a equação HJB estocástica; métodos de aprendizado profundo aproximam V com redes neurais, por exemplo resolvendo equações diferenciais estocásticas progressivas-regressivas equivalentes. Uma equação intimamente relacionada, a equação de Hamilton-Jacobi-Isaacs, descreve jogos de dois jogadores e fundamenta a alcançabilidade de Hamilton-Jacobi, que calcula conjuntos de estados a partir dos quais um sistema pode ser mantido seguro apesar de perturbações.

Por que importa

A equação HJB é o ponto de referência teórico do controle ótimo por realimentação em tempo contínuo. Ela conecta LQR, otimização de trajetória, métodos de integral de caminho, segurança baseada em alcançabilidade e aprendizado por reforço em tempo contínuo, e explica por que o controle ótimo exato se limita a sistemas de baixa dimensão.

Principais aplicações

Derivação de controladores ótimos por realimentação, incluindo o LQR via equação de Riccati
Alcançabilidade de Hamilton-Jacobi para verificação de segurança e conjuntos seguros
Controle ótimo estocástico por integral de caminho e baseado em amostragem
Aprendizado por reforço em tempo contínuo e aproximação da função de valor
Solvers neurais e de SDEs progressivas-regressivas para controle ótimo de alta dimensão

Na prática

Uma equipe que projeta um controlador de segurança para um pequeno robô terrestre o modela como um veículo do tipo Dubins com três estados e uma perturbação limitada. Ela resolve a equação de alcançabilidade de Hamilton-Jacobi relacionada em uma grade sobre posição e orientação com uma ferramenta de conjuntos de nível, o que dá uma função de valor cujo conjunto de nível zero marca os estados a partir dos quais uma colisão sempre pode ser evitada. Offline, o cálculo leva minutos; online, o robô consulta o valor e seu gradiente no estado atual para decidir quando sobrepor o planejador nominal. Para um braço robótico com muito mais estados, a mesma abordagem de grade seria inviável, por isso a equipe recorre a métodos locais, como iLQR, ou a aproximações aprendidas do valor.

Equívocos comuns

A equação HJB tem apenas interesse teórico — ela é resolvida diretamente para sistemas de baixa dimensão na análise de alcançabilidade e fundamenta métodos práticos como LQR, DDP e MPPI
A função de valor é sempre suave — em muitos problemas V tem quinas, e a equação precisa ser entendida no sentido de viscosidade
A equação HJB e o princípio do máximo de Pontryagin dão a mesma coisa — a HJB fornece uma função de valor e uma lei de realimentação sobre todos os estados, enquanto Pontryagin fornece condições necessárias ao longo de uma trajetória

Quem deve saber

Engenheiros de controle que trabalham com controle ótimo e seguro
Pesquisadores de análise de alcançabilidade e verificação de segurança
Pesquisadores de aprendizado por reforço que trabalham em tempo contínuo
Estudantes de pós-graduação em teoria de controle e robótica

Tecnologias relacionadas

Regulador linear quadrático (Linear-Quadratic Regulator, LQR)
Equação de Riccati (Riccati Equation)
Princípio do máximo de Pontryagin (Pontryagin's Maximum Principle)
Métodos de conjuntos de nível (Level Set Methods)
Alcançabilidade de Hamilton-Jacobi (Hamilton-Jacobi Reachability)
Equações diferenciais estocásticas progressivas-regressivas (Forward-Backward Stochastic Differential Equations)

Termos relacionados

Projetos relacionados

NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

Vídeos

Nonlinear Control: Hamilton Jacobi Bellman (HJB) and Dynamic Programming: Steve Brunton