Meta-Reinforcement Learning
- 又稱: meta-RL
- 類別: Learning & autonomy › RL & simulation
- 標籤: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning
一種強化學習,在許多相關任務上訓練,讓代理人學會如何適應,因此只需少量經驗,就能解決同一類型中的新任務。
定義
元強化學習(Meta-reinforcement learning,meta-RL)把學習本身當成要學的對象。代理人不是針對單一任務訓練一個策略,而是在一組相關任務的分布上接受訓練,例如抵達不同的目標、推動不同質量的物體,或打開不同的門。其目標是:遇到從同一分布抽出的新任務時,代理人只需少量新經驗(通常是幾個回合)就能完成適應,而不必從頭學起。訓練分成內迴圈與外迴圈:內迴圈適應單一任務,外迴圈則跨任務改進適應程序。
常見的方法有三類。以梯度為基礎的方法,例如模型無關元學習(MAML,Finn、Abbeel 與 Levine,2017),學習一組初始網路權重,從這組權重出發,在新任務上做幾步梯度更新就能得到良好的策略。遞迴式或以情境為基礎的方法,例如 RL²(Duan 等人,2016),把狀態、動作與獎勵的歷程輸入遞迴網路或其他序列模型,其隱藏狀態承載它對當前任務所學到的資訊,因此適應過程不需要梯度更新。潛在任務推論方法,例如 PEARL(Rakelly 等人,2019),學習一個編碼器,從經驗推論出機率性的任務變數,並以此作為策略的條件,這也讓離策略(off-policy)訓練成為可能。
Meta-RL 與部分可觀測的決策問題密切相關:未知的任務可以視為狀態中隱藏的一部分,代理人必須透過行動來推論。它不同於多任務強化學習:後者訓練單一策略在一組已知、固定的任務上表現良好,通常會提供任務身分,而且不衡量對未見任務的適應能力。Meta-World 等基準在同一組操作任務上測試這兩種設定。結果在很大程度上取決於訓練任務分布的廣度:meta-RL 往往能妥善適應訓練任務的變化形,對結構不同的任務則適應不佳。
為何重要
機器人時時面對變化:不同的物體、負載、地形與磨耗。Meta-RL 是讓學習而得的控制器快速適應這些變化、而不必從頭重新訓練的主要途徑之一,同樣的概念也是模擬到現實足式移動中所用線上適應模組的基礎。
主要應用
- 讓操作技能快速適應新的目標與物體
- 讓移動控制器適應改變的負載、地形或損傷
- 在以模型為基礎的控制中,線上調適學習而得的動力學模型
- 以 Meta-World 等任務族評比泛化能力
- 從少量機器人資料進行少樣本模仿與適應
實際應用
一個研究團隊希望機器手臂只要幾次嘗試就能學會新的操作技能。他們在模擬中建立一個任務族,在多種任務類型中隨機設定物體位置與目標,並訓練一個以情境為基礎的 meta-RL 代理人,以從近期狀態轉移推論出的潛在任務變數作為條件。測試時,在一個保留未用的目標上,機器人收集幾個探索性回合,編碼器更新它對任務的估計,策略在完全沒有梯度更新的情況下獲得改善。團隊分別回報在訓練任務的保留變化形上與在全新任務類型上的成功率,因為後者的表現通常低得多。
常見誤解
- Meta-RL 學到的策略什麼都能做 — 它適應的是訓練分布中的任務,對結構不同的任務通常泛化不佳
- Meta-RL 與多任務 RL 是同一回事 — 多任務 RL 最佳化的是在一組已知任務上的表現,meta-RL 最佳化的則是適應新任務的速度
- 適應一定代表微調權重 — 以情境為基礎的方法只靠更新隱藏狀態或潛在變數來適應,測試時完全不做梯度步驟
誰需要了解
- 研究泛化與適應的機器人學習研究人員
- 設計任務分布的強化學習實務工作者
- 開發自適應移動與操作控制器的工程師
- 主修機器人機器學習的研究生
相關技術
- 模型無關元學習(Model-Agnostic Meta-Learning,MAML)
- RL²
- PEARL
- Meta-World
- 遞迴神經網路(Recurrent Neural Networks)
相關術語
- Multi-Task Reinforcement Learning
- Reinforcement Learning
- Partially Observable Markov Decision Process (POMDP)
- Lifelong Robot Learning
- Domain Randomization
- Teacher-Student Training
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
影片
- Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing