Open Source Robotics

精選高品質的開源機器人專案、工具與軟體，推動機器人社群向前發展。

Markov Decision Process (MDP)

  • 又稱: MDP
  • 類別: Learning & autonomy › RL & simulation
  • 標籤: reinforcement-learning, decision-making, dynamic-programming, probability, robot-learning

循序決策的標準數學模型：由狀態、動作、轉移機率、獎勵與折扣因子構成，下一個狀態只取決於目前的狀態與動作。

定義

馬可夫決策過程（Markov decision process，MDP）描述這樣一個代理人：它反覆觀測狀態、選擇動作、獲得獎勵，並轉移到新的狀態。它通常寫成一個元組 (S, A, P, R, γ)，也常帶有一個初始狀態分布 ρ₀：狀態空間、動作空間、轉移機率 P(s′ | s, a)、獎勵函數 R(s, a)，以及一個介於 0 與 1 之間、用來權衡未來獎勵與即時獎勵的折扣因子 γ。其決定性假設是馬可夫性質：下一個狀態的分布只取決於目前的狀態與動作，與抵達此處之前的歷程無關。Richard Bellman 在 1950 年代關於動態規劃的研究奠定了這個框架。

MDP 的目標是一個策略，也就是從狀態到動作（或到動作上的分布）的映射，使期望的折扣獎勵總和最大。價值函數 V(s) 與動作價值函數 Q(s, a) 給出在某個策略下，從某個狀態、或從某個狀態與動作出發的期望回報。它們滿足貝爾曼方程，此方程把一個狀態的價值表示為即時獎勵加上後續狀態的折扣價值。當 P 與 R 已知且狀態空間很小時，價值迭代與策略迭代可以精確求解 MDP。當它們未知，或空間龐大且連續時，強化學習會從取樣得到的經驗估計價值與策略。

MDP 是幾乎所有強化學習，以及相當大一部分不確定性下規劃的形式基礎。許多變體放寬了其中一項假設：部分可觀測 MDP（POMDP）拿掉了代理人能看到真實狀態的假設；受限 MDP 加入成本上限；半 MDP（semi-MDP）允許執行時間不固定的動作；而馬可夫賽局等多代理人延伸則為多個決策者建模。要把什麼放進狀態，是一項工程決策：若遺漏了速度、接觸狀態或其他代理人的意圖等重要資訊，從代理人的角度來看，這個過程就不再具有馬可夫性質。

為何重要

每一篇強化學習論文，以及機器人學中大多數決策方法，都把問題表述成一個 MDP 或其變體。了解元組的各個部分，以及每種方法仰賴哪一項假設，才能讀懂這些論文、為實體機器人設計狀態與獎勵，並辨認出一個問題其實何時是部分可觀測的。

主要應用

  • 為操作與足式移動建立強化學習問題
  • 以價值迭代與策略迭代進行不確定性下的規劃
  • 獎勵設計與逆強化學習，兩者會推論或形塑 R
  • 以模型為基礎的強化學習，學習轉移函數 P
  • 透過馬可夫賽局與潛在意圖變數，為與其他代理人的互動建模

實際應用

一個團隊訓練機器手臂把方塊推到目標位置，並把這項任務表述成一個 MDP。狀態包含關節角度與速度、方塊姿態以及目標位置；動作是每個控制步驟中末端執行器位置的變化量；獎勵是方塊到目標距離的負值，成功時另有加分；γ 設得接近 1，因為任務橫跨許多步驟。早期測試中，方塊移動時策略表現得很不穩定，因為狀態包含方塊姿態卻沒有它的速度。加入方塊速度，或把最近幾次觀測堆疊起來，就能足夠近似地恢復馬可夫性質，讓 SAC 或 PPO 等標準演算法穩定學習。

常見誤解

  • MDP 要求狀態與動作是離散的 — 連續的狀態與動作空間在機器人學中很常見，此時總和改為積分，表格式方法改為函數近似
  • 馬可夫性質是關於世界的事實 — 它是所選狀態的性質；遺漏速度或隱藏變數，可能讓一個實體系統從代理人的角度看成為非馬可夫的
  • 折扣因子只反映不耐等待的程度 — 它也在無限時域問題中為回報設下界限，並影響學習的變異數與穩定性，因此常像超參數一樣調整
  • 求解 MDP 需要 P 的模型 — 強化學習方法不必寫出 P，就能從取樣的狀態轉移中找到良好的策略

誰需要了解

  • 強化學習實務工作者與研究人員
  • 設計狀態、動作與獎勵的機器人學習工程師
  • 規劃與決策領域的研究人員
  • 剛開始接觸機器人學習的機器人學學生

相關技術

  • 貝爾曼方程（Bellman Equation）
  • 價值迭代（Value Iteration）
  • 策略迭代（Policy Iteration）
  • Q-Learning
  • Gymnasium
  • 動態規劃（Dynamic Programming）

相關術語

  • Reinforcement Learning
  • Partially Observable Markov Decision Process (POMDP)
  • Hamilton-Jacobi-Bellman Equation (HJB)
  • Inverse Reinforcement Learning
  • Offline Reinforcement Learning
  • Proximal Policy Optimization

相關專案

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

影片

  • Markov Decision Processes - Computerphile: Computerphile

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。