Partially Observable Markov Decision Process (POMDP)

• 別名: POMDP, partially observable MDP
• カテゴリ: Learning & autonomy › RL & simulation
• タグ: decision-making, uncertainty, reinforcement-learning, planning, belief-space

エージェントが世界の完全な状態を直接観測できず、不確かな部分的観測に基づいて行動しなければならない場合の意思決定のための数学的枠組み。

定義

部分観測マルコフ決定過程（Partially observable Markov decision processes、POMDP）は、マルコフ決定過程（MDP）を、エージェントが世界の真の状態を見られない状況へ拡張したものである。MDP では、エージェントは状態を観測して行動を選ぶ。POMDP では、エージェントは状態に確率的に依存する観測しか受け取れないため、自分がどこにいるのか、世界がどうなっているのかが不確かなまま行動しなければならない。

POMDP は、状態、行動、行動が状態をどう変えるかを与える遷移モデル、報酬関数、観測の集合、そして各状態で各観測が得られる確率を与える観測モデルによって定義され、多くの場合は割引率も含む。部分観測領域における計画と行動を扱った Kaelbling、Littman、Cassandra の 1998 年の論文が標準的な参考文献である。

中心となる考え方は信念状態である。これはありうる状態についての確率分布で、行動と観測のたびにベイズの定理で更新される。最適な POMDP ポリシーは、状態ではなく信念を行動に写像する。これにより、行動する前に周囲を見回す、物体に触れて位置を確かめるといった情報収集の振る舞いが、意思決定問題そのものから生まれる。

厳密解は小さな問題を除いて計算的に手に負えないため、実用的な手法は近似を用いる。計画では、点ベース価値反復、SARSOP、そして POMCP のようなモンテカルロ木探索の手法が一般的である。深層強化学習では、部分観測性は通常、ポリシーに観測の履歴や再帰型ネットワークを与えることで扱われ、最近センシングした情報から、地形の性質、接触状態、ペイロードの質量といった隠れた量を推定できるようにする。

重要な理由

実際のロボットが自分の完全な状態を知っていることはほとんどない。センサにはノイズがあり、物体は遮蔽され、摩擦や地形といった性質は隠れている。POMDP の枠組みはこの不確かさを明示し、優れたロボットのポリシーがなぜ記憶や情報収集の振る舞いを必要とすることが多いのかを説明する。

主な用途

• ロボットが完全には知覚できない地形での脚移動
• センサの不確かさのもとでのナビゲーションと自己位置推定
• 遮蔽がある状況での物体探索とマニピュレーション
• 人の意図を直接観測できない人間とロボットのインタラクション

実際の使われ方

強化学習で脚移動のポリシーを訓練するチームは通常、問題を POMDP として扱う。実機は関節の状態、IMU、場合によってはハイトマップをセンシングできるが、地面の摩擦や正確な地形形状はわからない。そこでポリシーに過去の観測のウィンドウや再帰型ネットワークを与え、多くの場合、まずシミュレーションの完全な状態にアクセスできる教師で訓練し、それを搭載センサの観測だけを使う生徒へ蒸留する。物体を探すといった古典的な計画タスクでは、明示的な信念を保持し、近似 POMDP ソルバーで行動を選ぶ。

よくある誤解

• POMDP が問題になるのはセンサにノイズがあるときだけである — 質量、摩擦、地形などの性質が完璧なセンサからも隠れている場合にも当てはまる
• 最新の観測を状態とみなせば POMDP は解ける — これは履歴を無視しており、まずい行動や安全でない行動につながりうる
• POMDP は理論上の道具にすぎない — 近似ソルバーや記憶を持つ学習済みポリシーが、この枠組みを実際のロボットに適用している

知っておくべき人

• 実機ロボットに取り組む強化学習の研究者
• 計画と意思決定のエンジニア
• ナビゲーションと状態推定のエンジニア
• 不確かさのもとでの意思決定を学ぶロボティクスの学生

関連技術

• マルコフ決定過程（Markov Decision Process）
• ベイズフィルタリング（Bayesian Filtering）
• 強化学習（Reinforcement Learning）
• 再帰型ニューラルネットワーク（Recurrent Neural Networks）
• モンテカルロ木探索（Monte Carlo Tree Search）
• 教師-生徒蒸留（Teacher-Student Distillation）

関連用語

• Reinforcement Learning
• Sim2Real
• Sensor Fusion

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• RLinf: Scalable infrastructure for post-training foundation models via RL

動画

• POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language

ウィキペディア

• 部分観測マルコフ決定過程