Hamilton-Jacobi-Bellman Equation (HJB)

• 다른 이름: HJB, HJB equation
• 카테고리: Control › Feedback control
• 태그: optimal-control, dynamic-programming, value-function, pde, safety

연속 시간 최적 제어 문제의 최적 가치 함수를 해로 갖는 편미분 방정식으로, 벨만의 최적성 원리의 연속 시간 형태이다.

정의

해밀턴-야코비-벨만(HJB) 방정식(Hamilton-Jacobi-Bellman equation)은 벨만 방정식의 연속 시간 대응물이다. 동역학 ẋ = f(x, u), 실행 비용 ℓ(x, u), 종단 비용 φ(x)를 갖는 시스템에서, 최적 잔여 비용 V(x, t)는 −∂V/∂t = min over u of [ ℓ(x, u) + ∇V(x, t) · f(x, u) ]를 만족하며, 최종 시각에서 V(x, T) = φ(x)이다. 이 방정식은 벨만의 최적성 원리에서 나온다. 어떤 상태에서든 최선의 비용은 최선의 첫 무한소 단계의 비용에 그 단계가 이끄는 곳에서의 최적 비용을 더한 것과 같다. V를 알면 임의의 상태에서의 최적 제어는 최솟값을 달성하는 u이므로, 그 해는 하나의 궤적만이 아니라 상태 공간 전체에 걸친 피드백 정책을 준다.

노이즈로 구동되는 확률적 시스템 dx = f(x, u) dt + σ(x) dW에서는 방정식에 확산을 반영하는 2차 항 ½ tr(σσᵀ ∇²V)가 추가된다. 무한 구간 문제와 할인 문제는 시간 도함수가 없는 정상 형태를 준다. 선형 동역학과 이차 비용의 경우 V는 이차 함수이고, HJB 방정식은 선형 이차 레귤레이터의 바탕이 되는 리카티 방정식으로 귀착된다. 일반적으로 V는 미분 가능할 필요가 없으며, 올바른 해의 개념은 1983년 Crandall과 Lions가 도입한 점성해(viscosity solution)이다. 폰트랴긴 최대 원리는 상보적인 접근법으로, 모든 상태에 걸친 가치 함수 대신 하나의 최적 궤적을 따라 성립하는 필요조건을 준다.

주된 걸림돌은 차원의 저주이다. 격자 기반 풀이기는 상태 차원에 대해 지수적으로 커지므로, 정확한 해는 상태가 몇 개뿐인 시스템에서만 실용적이다. 많은 로봇공학 방법은 이를 우회하는 방식으로 읽을 수 있다. 미분 동적 계획법과 iLQR은 궤적을 따라 가치 함수를 국소적으로 전개하고, 경로 적분 제어는 확률적 HJB 방정식을 선형으로 만드는 변환을 사용하며, 딥러닝 방법은 예를 들어 동등한 순방향-역방향 확률 미분 방정식을 풀어 V를 신경망으로 근사한다. 밀접하게 관련된 방정식인 해밀턴-야코비-아이작스 방정식은 2인 게임을 기술하며, 외란이 있어도 시스템을 안전하게 유지할 수 있는 상태 집합을 계산하는 해밀턴-야코비 도달 가능성 분석(Hamilton-Jacobi reachability)의 바탕이 된다.

중요한 이유

HJB 방정식은 연속 시간 최적 피드백 제어의 이론적 기준점이다. LQR, 궤적 최적화, 경로 적분 방법, 도달 가능성 기반 안전, 연속 시간 강화 학습을 서로 연결하며, 정확한 최적 제어가 왜 저차원 시스템에 국한되는지를 설명한다.

주요 응용

• 리카티 방정식을 통한 LQR을 포함한 최적 피드백 제어기 유도
• 안전 검증과 안전 집합을 위한 해밀턴-야코비 도달 가능성 분석
• 경로 적분 및 샘플링 기반 확률적 최적 제어
• 연속 시간 강화 학습과 가치 함수 근사
• 고차원 최적 제어를 위한 신경망 풀이기와 순방향-역방향 SDE 풀이기

실제 사례

소형 지상 로봇의 안전 제어기를 설계하는 한 팀은 로봇을 유계 외란이 있는 3상태 Dubins형 차량으로 모델링한다. 팀은 레벨 셋 도구 상자를 이용해 위치와 방향각에 걸친 격자 위에서 관련된 해밀턴-야코비 도달 가능성 방정식을 풀며, 그 결과 0 레벨 셋이 충돌을 언제나 피할 수 있는 상태들을 표시하는 가치 함수를 얻는다. 오프라인 계산에는 몇 분이 걸리고, 온라인에서는 로봇이 현재 상태에서의 가치와 그 경사를 조회해 언제 명목 계획기를 무시하고 개입할지 결정한다. 상태가 훨씬 많은 로봇 암에서는 같은 격자 접근이 불가능하므로, 팀은 iLQR이나 학습된 가치 근사 같은 국소적 방법으로 대체한다.

흔한 오해

• HJB 방정식은 이론적으로만 흥미롭다 — 도달 가능성 분석에서는 저차원 시스템에 대해 직접 풀리며, LQR, DDP, MPPI 같은 실용적 방법의 바탕이 된다
• 가치 함수는 언제나 매끄럽다 — 많은 문제에서 V에는 꺾인 점이 있으며, 방정식은 점성해의 의미로 이해해야 한다
• HJB 방정식과 폰트랴긴 최대 원리는 같은 것을 준다 — HJB는 모든 상태에 걸친 가치 함수와 피드백 법칙을 주고, 폰트랴긴 원리는 하나의 궤적을 따라 성립하는 필요조건을 준다

알아야 할 사람

• 최적 제어와 안전 제어를 다루는 제어 엔지니어
• 도달 가능성 분석과 안전 검증 연구자
• 연속 시간에서 연구하는 강화 학습 연구자
• 제어 이론과 로봇공학 분야의 대학원생

관련 기술

• 선형 이차 레귤레이터(Linear-Quadratic Regulator, LQR)
• 리카티 방정식(Riccati Equation)
• 폰트랴긴 최대 원리(Pontryagin's Maximum Principle)
• 레벨 셋 방법(Level Set Methods)
• 해밀턴-야코비 도달 가능성 분석(Hamilton-Jacobi Reachability)
• 순방향-역방향 확률 미분 방정식(Forward-Backward Stochastic Differential Equations)

관련 용어

• Markov Decision Process (MDP)
• Differential dynamic programming
• Model Predictive Path Integral
• Control Barrier Function
• Safety Filter
• Region of attraction

관련 프로젝트

• NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

동영상

• Nonlinear Control: Hamilton Jacobi Bellman (HJB) and Dynamic Programming: Steve Brunton