Hamilton-Jacobi-Bellman Equation (HJB)

• 又稱: HJB, HJB equation
• 類別: Control › Feedback control
• 標籤: optimal-control, dynamic-programming, value-function, pde, safety

一個偏微分方程，其解為連續時間最佳控制問題的最佳價值函數；它是貝爾曼最佳化原理的連續時間形式。

定義

漢彌爾頓-雅可比-貝爾曼方程（Hamilton-Jacobi-Bellman equation，HJB）是貝爾曼方程在連續時間下的對應形式。對於動態為 ẋ = f(x, u)、運行成本為 ℓ(x, u)、終端成本為 φ(x) 的系統，最佳剩餘成本 V(x, t) 滿足 −∂V/∂t = min over u of [ ℓ(x, u) + ∇V(x, t) · f(x, u) ]，並在終止時刻滿足 V(x, T) = φ(x)。此方程由貝爾曼最佳化原理推得：從任一狀態出發的最佳成本，等於最佳的第一個無窮小步驟的成本，加上從該步驟抵達之處出發的最佳成本。一旦知道 V，任一狀態下的最佳控制就是達到最小值的那個 u，因此其解提供的是涵蓋整個狀態空間的回饋策略，而不只是一條軌跡。

對於由雜訊驅動的隨機系統 dx = f(x, u) dt + σ(x) dW，方程會多出一個描述擴散的二階項 ½ tr(σσᵀ ∇²V)。無限時域問題與折扣問題會得到不含時間導數的穩態形式。對於具有二次成本的線性動態，V 是二次式，HJB 方程會化簡為線性二次調節器背後的 Riccati 方程。一般而言 V 不一定可微，正確的解概念是 Crandall 與 Lions 於 1983 年提出的黏性解。Pontryagin 最大值原理是互補的途徑：它提供沿單一最佳軌跡的必要條件，而不是涵蓋所有狀態的價值函數。

主要障礙是維度詛咒：以網格為基礎的求解器會隨狀態維度呈指數成長，因此精確解只適用於只有少數幾個狀態的系統。許多機器人學方法都可以視為繞過這一障礙的途徑。微分動態規劃與 iLQR 沿著一條軌跡在局部展開價值函數；路徑積分控制使用一種讓隨機 HJB 方程變成線性的轉換；深度學習方法則以神經網路近似 V，例如求解等價的正倒向隨機微分方程。一個密切相關的方程，Hamilton-Jacobi-Isaacs 方程，描述雙人賽局，也是 Hamilton-Jacobi 可達性的基礎，後者計算出一些狀態集合：從這些狀態出發，即使有擾動，系統仍能維持安全。

為何重要

HJB 方程是連續時間最佳回饋控制的理論參考點。它把 LQR、軌跡最佳化、路徑積分方法、以可達性為基礎的安全，以及連續時間強化學習串連起來，也說明了為什麼精確的最佳控制僅限於低維系統。

主要應用

• 推導最佳回饋控制器，包括透過 Riccati 方程得到的 LQR
• 用於安全驗證與安全集合的 Hamilton-Jacobi 可達性
• 路徑積分與以取樣為基礎的隨機最佳控制
• 連續時間強化學習與價值函數近似
• 用於高維最佳控制的神經網路求解器與正倒向 SDE 求解器

實際應用

一個為小型地面機器人設計安全控制器的團隊，把它建模為帶有有界擾動的三狀態 Dubins 式車輛。他們使用水平集工具箱，在位置與航向構成的網格上求解相關的 Hamilton-Jacobi 可達性方程，得到一個價值函數，其零水平集標出那些永遠能避免碰撞的狀態。離線計算要花幾分鐘；線上時，機器人查詢目前狀態下的價值與其梯度，以決定何時接管標稱規劃器。對於狀態多得多的機器手臂，同樣的網格方法將不可行，因此團隊改用 iLQR 等局部方法或學習而得的價值近似。

常見誤解

• HJB 方程只有理論價值 — 在可達性分析中，人們會直接為低維系統求解它，它也是 LQR、DDP 與 MPPI 等實用方法的基礎
• 價值函數一定是平滑的 — 在許多問題中 V 有折點，方程必須以黏性解的意義來理解
• HJB 方程與 Pontryagin 最大值原理提供的是同一件事 — HJB 提供涵蓋所有狀態的價值函數與回饋律，Pontryagin 則提供沿一條軌跡的必要條件

誰需要了解

• 從事最佳控制與安全控制的控制工程師
• 可達性分析與安全驗證領域的研究人員
• 研究連續時間強化學習的研究人員
• 控制理論與機器人學的研究生

相關技術

• 線性二次調節器（Linear-Quadratic Regulator，LQR）
• Riccati 方程（Riccati Equation）
• Pontryagin 最大值原理（Pontryagin's Maximum Principle）
• 水平集方法（Level Set Methods）
• Hamilton-Jacobi 可達性（Hamilton-Jacobi Reachability）
• 正倒向隨機微分方程（Forward-Backward Stochastic Differential Equations）

相關術語

• Markov Decision Process (MDP)
• Differential dynamic programming
• Model Predictive Path Integral
• Control Barrier Function
• Safety Filter
• Region of attraction

相關專案

• NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

影片

• Nonlinear Control: Hamilton Jacobi Bellman (HJB) and Dynamic Programming: Steve Brunton