Partially Observable Markov Decision Process (POMDP)

• 又稱: POMDP, partially observable MDP
• 類別: Learning & autonomy › RL & simulation
• 標籤: decision-making, uncertainty, reinforcement-learning, planning, belief-space

一種數學框架，用於代理人無法直接觀測世界完整狀態、只能根據不確定的部分觀測來行動時的決策。

定義

部分可觀測馬可夫決策過程（Partially observable Markov decision processes，POMDP）把馬可夫決策過程（MDP）延伸到代理人無法看見世界真實狀態的情況。在 MDP 中，代理人觀測狀態並選擇動作。在 POMDP 中，代理人只能取得以機率方式取決於狀態的觀測，因此它必須在不確定自己身在何處、或世界是什麼樣子的情況下行動。

一個 POMDP 由下列要素定義：狀態、動作、說明動作如何改變狀態的轉移模型、獎勵函數、一組觀測，以及給出每個狀態下各種觀測機率的觀測模型，通常還有一個折扣因子。Kaelbling、Littman 與 Cassandra 於 1998 年發表、探討在部分可觀測領域中規劃與行動的論文，是標準的參考文獻。

核心概念是信念狀態：一個關於可能狀態的機率分布，在每次動作與觀測之後以貝氏定理更新。最佳的 POMDP 策略把信念而非狀態對應到動作。這讓資訊蒐集行為，例如行動前先四處查看，或觸碰物體以確定其位置，能夠從決策問題本身中自然浮現。

除了小型問題之外，精確解在計算上都難以處理，因此實用的方法會採用近似。以點為基礎的值迭代、SARSOP，以及 POMCP 等蒙地卡羅樹搜尋方法在規劃中很常見。在深度強化學習中，部分可觀測性通常的處理方式是給策略一段觀測歷史或一個遞迴網路，讓它能從最近感測到的資訊推斷地形特性、接觸狀態或負載質量等隱藏的量。

為何重要

真實的機器人幾乎從不知道自己的完整狀態：感測器有雜訊、物體會被遮擋，摩擦或地形等特性是隱藏的。POMDP 框架把這種不確定性明確地表達出來，並說明了為什麼好的機器人策略往往需要記憶與資訊蒐集行為。

主要應用

• 在機器人無法完全感知的地形上進行腿足移動
• 在感測器不確定性下進行導航與定位
• 有遮擋情況下的物體搜尋與操作
• 人類意圖無法直接觀測的人機互動

實際應用

以強化學習訓練腿足移動策略的團隊，通常會把問題當成 POMDP：真實機器人能感測關節狀態、IMU，或許還有高度圖，但感測不到地面摩擦或精確的地形幾何。他們給策略一段過去觀測的視窗或一個遞迴網路，而且常先以一個能取得完整模擬狀態的教師來訓練，再蒸餾成只使用機上觀測的學生。對於搜尋物體這類傳統規劃任務，團隊會維護一個明確的信念，並使用近似的 POMDP 求解器來選擇動作。

常見誤解

• 只有感測器有雜訊時 POMDP 才重要 — 當質量、摩擦或地形等特性即使對完美的感測器也是隱藏的，它同樣適用
• 把最新的觀測當成狀態就能解 POMDP — 這會忽略歷史，可能導致不佳或不安全的動作
• POMDP 只是理論工具 — 近似求解器與以記憶為基礎的學習式策略，已把這個框架應用在真實機器人上

誰需要了解

• 在真實機器人上進行研究的強化學習研究人員
• 規劃與決策工程師
• 導航與狀態估測工程師
• 學習不確定性下決策的機器人學生

相關技術

• 馬可夫決策過程（Markov Decision Process）
• 貝氏濾波（Bayesian Filtering）
• 強化學習（Reinforcement Learning）
• 遞迴神經網路（Recurrent Neural Networks）
• 蒙地卡羅樹搜尋（Monte Carlo Tree Search）
• 教師-學生蒸餾（Teacher-Student Distillation）

相關術語

• Reinforcement Learning
• Sim2Real
• Sensor Fusion

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• RLinf: Scalable infrastructure for post-training foundation models via RL

影片

• POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language

維基百科

• 部分可觀察馬可夫決策過程