Hamilton-Jacobi-Bellman Equation (HJB)

• 別名: HJB, HJB equation
• カテゴリ: Control › Feedback control
• タグ: optimal-control, dynamic-programming, value-function, pde, safety

連続時間の最適制御問題における最適価値関数を解として持つ偏微分方程式。ベルマンの最適性原理の連続時間版である。

定義

ハミルトン-ヤコビ-ベルマン方程式（Hamilton-Jacobi-Bellman equation、HJB）は、ベルマン方程式の連続時間版である。ダイナミクスが ẋ = f(x, u)、ランニングコストが ℓ(x, u)、終端コストが φ(x) であるシステムでは、最適なコスト・トゥ・ゴー V(x, t) は −∂V/∂t = min over u of [ ℓ(x, u) + ∇V(x, t) · f(x, u) ] を満たし、終端時刻で V(x, T) = φ(x) となる。この方程式はベルマンの最適性原理から導かれる。任意の状態からの最良のコストは、最良の最初の微小ステップのコストと、そのステップの行き着く先からの最適コストとの和に等しい。V がわかれば、任意の状態における最適制御は最小値を達成する u であるから、解は 1 本の軌道だけでなく状態空間全体にわたるフィードバック方策を与える。

ノイズに駆動される確率システム dx = f(x, u) dt + σ(x) dW では、方程式に拡散を表す二階の項 ½ tr(σσᵀ ∇²V) が加わる。無限ホライズン問題や割引付き問題では、時間微分を含まない定常形になる。二次コストを持つ線形ダイナミクスでは V は二次形式となり、HJB 方程式は線形二次レギュレータの背後にある Riccati 方程式に帰着する。一般には V は微分可能とは限らず、正しい解の概念は 1983 年に Crandall と Lions が導入した粘性解である。Pontryagin の最大原理は相補的なアプローチであり、すべての状態にわたる価値関数ではなく、1 本の最適軌道に沿った必要条件を与える。

主な障害は次元の呪いである。グリッドベースのソルバは状態の次元に対して指数的に増大するため、厳密解が実用になるのは状態が数個しかないシステムに限られる。ロボティクスの多くの手法は、これを回避する方法として読むことができる。微分動的計画法と iLQR は軌道に沿って価値関数を局所的に展開し、経路積分制御は確率的 HJB 方程式を線形にする変換を用い、深層学習の手法は、たとえば等価な前向き後ろ向き確率微分方程式を解くことで、V をニューラルネットワークで近似する。密接に関連する方程式である Hamilton-Jacobi-Isaacs 方程式は二人ゲームを記述し、Hamilton-Jacobi 到達可能性解析の基礎になっている。これは、外乱があってもシステムを安全に保てる状態の集合を計算するものである。

重要な理由

HJB 方程式は、連続時間における最適フィードバック制御の理論的な基準点である。LQR、軌道最適化、経路積分法、到達可能性に基づく安全性、連続時間の強化学習を結び付け、厳密な最適制御が低次元のシステムに限られる理由を説明する。

主な用途

• Riccati 方程式を介した LQR を含む最適フィードバックコントローラの導出
• 安全性検証と安全集合のための Hamilton-Jacobi 到達可能性解析
• 経路積分とサンプリングベースの確率的最適制御
• 連続時間の強化学習と価値関数近似
• 高次元最適制御のためのニューラルネットワークソルバと前向き後ろ向き SDE ソルバ

実際の使われ方

小型地上ロボットの安全コントローラを設計するチームが、ロボットを有界な外乱を受ける 3 状態の Dubins 型車両としてモデル化する。レベルセットのツールボックスを使い、位置と方位のグリッド上で関連する Hamilton-Jacobi 到達可能性の方程式を解くと、ゼロレベルセットが常に衝突を回避できる状態を示す価値関数が得られる。オフラインでの計算には数分かかり、オンラインではロボットが現在の状態での価値とその勾配を参照して、いつノミナルプランナに介入するかを判断する。状態がはるかに多いロボットアームでは同じグリッドの手法は実行不可能なため、チームは iLQR のような局所的手法や学習による価値近似に切り替える。

よくある誤解

• HJB 方程式は理論上の関心にすぎない — 到達可能性解析では低次元のシステムについて直接解かれており、LQR、DDP、MPPI などの実用的な手法の基盤になっている
• 価値関数は常に滑らかである — 多くの問題で V には折れ目があり、方程式は粘性解の意味で理解しなければならない
• HJB 方程式と Pontryagin の最大原理は同じものを与える — HJB はすべての状態にわたる価値関数とフィードバック則を与え、Pontryagin は 1 本の軌道に沿った必要条件を与える

知っておくべき人

• 最適制御と安全制御に取り組む制御エンジニア
• 到達可能性解析と安全性検証の研究者
• 連続時間の強化学習に取り組む研究者
• 制御理論とロボティクスの大学院生

関連技術

• 線形二次レギュレータ（Linear-Quadratic Regulator、LQR）
• Riccati 方程式（Riccati Equation）
• Pontryagin の最大原理（Pontryagin's Maximum Principle）
• レベルセット法（Level Set Methods）
• Hamilton-Jacobi 到達可能性解析（Hamilton-Jacobi Reachability）
• 前向き後ろ向き確率微分方程式（Forward-Backward Stochastic Differential Equations）

関連用語

• Markov Decision Process (MDP)
• Differential dynamic programming
• Model Predictive Path Integral
• Control Barrier Function
• Safety Filter
• Region of attraction

関連プロジェクト

• NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

動画

• Nonlinear Control: Hamilton Jacobi Bellman (HJB) and Dynamic Programming: Steve Brunton