Parameterized Action MDP
- 又稱: PAMDP, parameterized action space MDP
- 類別: Learning & autonomy › RL & simulation
- 標籤: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions
一種馬可夫決策過程,其動作把一個離散選擇(例如要用哪一項技能)與該選擇的連續參數(例如在哪裡或如何執行)配成一對。
定義
參數化動作馬可夫決策過程(parameterized action Markov decision process,PAMDP)是一種動作空間由離散與連續選擇混合而成的 MDP。它有一個有限的離散動作集合,而每個離散動作 a 都有自己的連續參數空間 X_a。在每個決策步驟,代理人挑選一個離散動作並為它選擇一個參數向量,因此動作是一個配對 (a, x),其中 x 屬於 X_a。不同的離散動作可以有維度與意義都不同的參數。Masson、Ranchod 與 Konidaris 在 2016 年將這個設定形式化,並提出 Q-PAMDP,它在學習要選哪一個離散動作與學習每個動作的參數策略之間交替進行。
這種結構對於以技能或基元(skills or primitives)為核心建構的機器人來說很自然。一個操作代理人可能要在伸手、抓取、推動與放置之間做選擇,每個動作都有連續的參數,例如目標位置、推動方向或抓取方向,而當沒有適合的基元時,就退回到原子層級的低階動作。一個足球代理人要在踢球、衝刺與轉身之間做選擇,每個動作都有力道或方向參數,這正是 Hausknecht 與 Stone 在 2016 年用於參數化動作深度強化學習的 RoboCup 設定。由於一個基元可能持續執行許多個控制週期,決策之間的時間是可變的,這讓 PAMDP 與半馬可夫決策過程(semi-MDP)以及選項框架產生關聯;但在 PAMDP 中,基元通常是固定、人工設計的控制器,而不是學習而得的選項。
在 PAMDP 中學習,需要能尊重這種混合結構的方法。常見的深度 RL 做法是使用一個網路,為每個離散動作輸出一個價值或機率,以及該動作的參數,例如 Xiong 及其同事提出的 P-DQN 及其變體;或是使用一個策略,輸出基元類型上的類別分布,以及每種類型參數上的高斯分布。單純把參數離散化會損失精度,並讓動作空間迅速膨脹;而把一切都當成一個大型連續向量來處理,則會丟掉只有被選中動作的參數才重要這項資訊。
為何重要
以低階關節或末端執行器指令進行的強化學習,在長時程的操作任務上舉步維艱,因為探索問題極為龐大。讓策略呼叫參數化技能,可以縮短有效時程、重複利用基元中已內建的工程知識,並產生更容易檢視的行為,而 PAMDP 正是做到這一點的形式化設定。
主要應用
- 在操作技能庫上進行強化學習
- 機器人足球及其他具有混合動作空間的遊戲
- 結合導航與操作基元的長時程任務
- 為任務規劃學習運動基元的參數
- 具有離散操控動作與連續目標的自動駕駛決策
實際應用
一個團隊在模擬環境中訓練一支機器手臂打開櫃子並把物體放進去。策略不是以 20 Hz 輸出末端執行器速度,而是在每一步從五個基元中選一個:伸手、抓取、推動、放開,或一個原子層級的低階動作。伸手接受一個 3D 目標,抓取接受一個目標位置與一個偏航角,推動則接受起始位置、方向與距離。策略網路輸出基元類型上的類別分布,並為每種類型輸出其參數上的高斯分布,只有被選中類型的參數會影響梯度。每個基元執行一個腳本化的控制器,直到完成或逾時,接著再做下一個決策。一個回合只需要少數幾次決策,因此在低階策略失敗的地方,學習成功了。
常見誤解
- PAMDP 就是階層式強化學習 — PAMDP 中的基元通常是固定的控制器,只有基元的選擇及其參數是學習而得的
- 參數可以直接離散化 — 離散化會損失精度並讓動作數量倍增,尤其是在基元有多個參數時
- 混合動作可以當成一個大型連續向量處理 — 這忽略了只有被選中動作的參數才重要,而且可能讓學習不穩定
- 使用基元一定能讓任務變得更容易 — 設計不良的基元集合可能讓任務無法完成,這也是許多系統保留低階動作作為備援的原因
誰需要了解
- 研究技能與基元的機器人學習研究人員
- 設計動作空間的強化學習工程師
- 任務與運動規劃研究人員
- 遊戲與多代理人 AI 開發人員
相關技術
- Q-PAMDP
- P-DQN
- 選項框架(Options Framework)
- 半馬可夫決策過程(Semi-Markov Decision Process)
- robosuite
相關術語
- Markov Decision Process (MDP)
- Motion Primitive
- Reinforcement Learning
- Task and Motion Planning
- Dynamic Movement Primitive
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages