Hamilton-Jacobi-Bellman Equation (HJB)

• 又称: HJB, HJB equation
• 类别: Control › Feedback control
• 标签: optimal-control, dynamic-programming, value-function, pde, safety

一个偏微分方程，其解是连续时间最优控制问题的最优价值函数；它是贝尔曼最优性原理的连续时间形式。

定义

哈密顿-雅可比-贝尔曼方程（Hamilton-Jacobi-Bellman equation，HJB）是贝尔曼方程在连续时间下的对应形式。对于动力学为 ẋ = f(x, u)、运行代价为 ℓ(x, u)、终端代价为 φ(x) 的系统，最优剩余代价 V(x, t) 满足 −∂V/∂t = min over u of [ ℓ(x, u) + ∇V(x, t) · f(x, u) ]，并在终止时刻满足 V(x, T) = φ(x)。该方程由贝尔曼最优性原理得出：从任一状态出发的最优代价，等于最优的第一个无穷小步的代价，加上从该步所到达之处出发的最优代价。一旦知道了 V，任一状态下的最优控制就是取得最小值的那个 u，因此该解给出的是覆盖整个状态空间的反馈策略，而不仅仅是一条轨迹。

对于由噪声驱动的随机系统 dx = f(x, u) dt + σ(x) dW，方程会多出一个二阶项 ½ tr(σσᵀ ∇²V)，用来刻画扩散。无限时域问题和折扣问题会给出不含时间导数的稳态形式。对于具有二次代价的线性动力学，V 是二次的，HJB 方程化简为线性二次调节器背后的 Riccati 方程。一般情况下 V 不一定可微，正确的解概念是 Crandall 和 Lions 于 1983 年提出的粘性解。Pontryagin 极大值原理是与之互补的途径：它给出的是沿单条最优轨迹的必要条件，而不是覆盖所有状态的价值函数。

主要障碍是维数灾难：基于网格的求解器随状态维数呈指数增长，因此精确解只对只有少数几个状态的系统可行。许多机器人学方法都可以看作绕开这一障碍的途径。微分动态规划和 iLQR 沿一条轨迹在局部展开价值函数；路径积分控制使用一种变换，使随机 HJB 方程变为线性；深度学习方法用神经网络逼近 V，例如通过求解等价的正倒向随机微分方程。一个密切相关的方程 Hamilton-Jacobi-Isaacs 方程描述双人博弈，是 Hamilton-Jacobi 可达性的基础，后者计算出这样一些状态集合：从这些状态出发，即使存在扰动，系统也能保持安全。

为何重要

HJB 方程是连续时间最优反馈控制的理论参照。它把 LQR、轨迹优化、路径积分方法、基于可达性的安全以及连续时间强化学习联系起来，并解释了为什么精确的最优控制仅限于低维系统。

主要应用

• 推导最优反馈控制器，包括通过 Riccati 方程得到的 LQR
• 用于安全验证和安全集的 Hamilton-Jacobi 可达性
• 路径积分与基于采样的随机最优控制
• 连续时间强化学习与价值函数逼近
• 用于高维最优控制的神经网络求解器和正倒向 SDE 求解器

实际应用

一个为小型地面机器人设计安全控制器的团队，把它建模为一个带有有界扰动的三状态 Dubins 式车辆。他们用一个水平集工具箱，在位置和航向构成的网格上求解相关的 Hamilton-Jacobi 可达性方程，得到一个价值函数，其零水平集标出了那些总能避免碰撞的状态。离线计算需要几分钟；在线时，机器人查询当前状态下的价值及其梯度，以决定何时接管名义规划器。对于状态多得多的机械臂，同样的网格方法将不可行，因此团队退而使用 iLQR 等局部方法或学习得到的价值近似。

常见误解

• HJB 方程只有理论意义 — 在可达性分析中，人们直接对低维系统求解它，它也是 LQR、DDP 和 MPPI 等实用方法的基础
• 价值函数总是光滑的 — 在许多问题中 V 存在折点，必须在粘性意义下理解该方程
• HJB 方程和 Pontryagin 极大值原理给出的是同一样东西 — HJB 给出覆盖所有状态的价值函数和反馈律，而 Pontryagin 给出沿一条轨迹的必要条件

谁需要了解

• 从事最优控制和安全控制的控制工程师
• 可达性分析和安全验证方向的研究人员
• 研究连续时间强化学习的研究人员
• 控制理论和机器人学方向的研究生

相关技术

• 线性二次调节器（Linear-Quadratic Regulator，LQR）
• Riccati 方程（Riccati Equation）
• Pontryagin 极大值原理（Pontryagin's Maximum Principle）
• 水平集方法（Level Set Methods）
• Hamilton-Jacobi 可达性（Hamilton-Jacobi Reachability）
• 正倒向随机微分方程（Forward-Backward Stochastic Differential Equations）

相关术语

• Markov Decision Process (MDP)
• Differential dynamic programming
• Model Predictive Path Integral
• Control Barrier Function
• Safety Filter
• Region of attraction

相关项目

• NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

视频

• Nonlinear Control: Hamilton Jacobi Bellman (HJB) and Dynamic Programming: Steve Brunton