Partially Observable Markov Decision Process (POMDP)
- 다른 이름: POMDP, partially observable MDP
- 카테고리: Learning & autonomy › RL & simulation
- 태그: decision-making, uncertainty, reinforcement-learning, planning, belief-space
에이전트가 세계의 전체 상태를 직접 관측할 수 없어 불확실하고 부분적인 관측에 근거해 행동해야 할 때의 의사결정을 위한 수학적 프레임워크이다.
정의
부분 관측 마르코프 결정 과정(partially observable Markov decision process, POMDP)은 에이전트가 세계의 실제 상태를 볼 수 없는 상황으로 마르코프 결정 과정(MDP)을 확장한 것이다. MDP에서는 에이전트가 상태를 관측하고 행동을 선택한다. POMDP에서는 에이전트가 상태에 확률적으로 의존하는 관측(observation)만 받으므로, 자신이 어디에 있는지나 세계가 어떤지에 대한 불확실성 속에서 행동해야 한다.
POMDP는 상태, 행동, 행동이 상태를 어떻게 바꾸는지를 나타내는 전이 모델, 보상 함수, 관측 집합, 그리고 각 상태에서 각 관측이 나올 확률을 나타내는 관측 모델로 정의되며, 흔히 할인율도 포함한다. 부분 관측 영역에서의 계획과 행동을 다룬 Kaelbling, Littman, Cassandra의 1998년 논문이 표준 참고 문헌이다.
핵심 아이디어는 신념 상태(belief state)이다. 이는 가능한 상태들에 대한 확률 분포로, 각 행동과 관측 뒤에 베이즈 규칙으로 갱신된다. 최적 POMDP 정책은 상태가 아니라 신념을 행동으로 매핑한다. 이 덕분에 행동하기 전에 주위를 둘러보거나 물체의 위치를 알아내려고 만져 보는 것 같은 정보 수집 행동이 결정 문제 자체에서 나타날 수 있다.
정확한 해는 작은 문제를 제외하면 계산적으로 다루기 불가능하므로, 실용적인 방법들은 근사를 쓴다. 계획에서는 점 기반 가치 반복, SARSOP, 그리고 POMCP 같은 몬테카를로 트리 탐색 방법이 흔하다. 심층 강화 학습에서는 부분 관측성을 보통 정책에 관측 이력이나 순환 신경망을 주어 다루며, 그러면 정책은 최근에 감지한 것으로부터 지형 특성, 접촉 상태, 페이로드 질량 같은 숨은 양을 추론할 수 있다.
중요한 이유
실제 로봇은 자신의 전체 상태를 거의 알지 못한다. 센서에는 잡음이 있고, 물체는 가려지며, 마찰이나 지형 같은 특성은 숨겨져 있다. POMDP 프레임워크는 이 불확실성을 명시적으로 드러내고, 좋은 로봇 정책에 왜 흔히 메모리와 정보 수집 행동이 필요한지를 설명한다.
주요 응용
- 로봇이 완전히 인지할 수 없는 지형 위에서의 다리 보행
- 센서 불확실성 아래에서의 내비게이션과 위치 추정
- 가림이 있는 상황에서의 물체 탐색과 매니퓰레이션
- 사람의 의도를 직접 관측할 수 없는 인간-로봇 상호작용
실제 사례
강화 학습으로 다리 보행 정책을 훈련하는 팀은 보통 문제를 POMDP로 다룬다. 실제 로봇은 관절 상태, IMU, 그리고 경우에 따라 높이 지도를 감지하지만, 지면 마찰이나 정확한 지형 형상은 감지하지 못한다. 팀은 정책에 과거 관측의 윈도나 순환 신경망을 주고, 흔히 시뮬레이션의 전체 상태에 접근할 수 있는 교사로 정책을 훈련한 다음, 온보드 관측만 쓰는 학생으로 증류한다. 물체를 찾는 것 같은 고전적 계획 작업에서는 팀이 명시적인 신념을 유지하고 근사 POMDP 솔버로 행동을 고른다.
흔한 오해
- POMDP는 센서에 잡음이 있을 때만 중요하다 — 질량, 마찰, 지형 같은 특성이 완벽한 센서로도 보이지 않을 때에도 적용된다
- 가장 최근 관측을 상태로 취급하면 POMDP를 풀 수 있다 — 이는 이력을 무시하며 나쁘거나 안전하지 않은 행동으로 이어질 수 있다
- POMDP는 이론적 도구일 뿐이다 — 근사 솔버와 메모리 기반의 학습된 정책이 이 프레임워크를 실제 로봇에 적용한다
알아야 할 사람
- 실제 로봇을 다루는 강화 학습 연구자
- 계획 및 의사결정 엔지니어
- 내비게이션 및 상태 추정 엔지니어
- 불확실성 아래의 의사결정을 공부하는 로보틱스 학생
관련 기술
- 마르코프 결정 과정(Markov Decision Process)
- 베이즈 필터링(Bayesian Filtering)
- 강화 학습(Reinforcement Learning)
- 순환 신경망(Recurrent Neural Networks)
- 몬테카를로 트리 탐색(Monte Carlo Tree Search)
- 교사-학생 증류(Teacher-Student Distillation)
관련 용어
관련 프로젝트
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- RLinf: Scalable infrastructure for post-training foundation models via RL
동영상
- POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language