Multi-Task Reinforcement Learning
- 又稱: multi-task RL, MTRL
- 類別: Learning & autonomy › RL & simulation
- 標籤: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning
一種強化學習,訓練一個以任務識別碼或任務描述為條件的策略,讓它同時在一組固定的任務上表現良好。
定義
多任務強化學習(Multi-task reinforcement learning)訓練單一代理人解決多個任務,而不是為每個任務各訓練一個代理人。策略通常是任務條件化的:它在接收狀態的同時,也接收一個獨熱(one-hot)任務識別碼、一個目標、一條語言指令或其他任務描述,目標函數則是整個任務集合上的平均期望回報。人們期望各任務共享某些結構,例如如何移動手臂或抓住把手,讓一個任務的經驗能幫助其他任務,共享策略所需的資料也比各任務分開訓練時更少。
實務上,共享也可能帶來傷害。任務之間可能需要互相衝突的行為,獎勵的量級可能相差很大,而來自某個任務的梯度更新可能抵銷另一個任務上的進展,這個問題稱為負遷移或梯度干擾。常見的補救方式包括:將回報正規化或為每個任務使用個別的價值頭;調整梯度,讓任務之間不再衝突;讓任務通過部分分離的網路模組;平衡每個任務被取樣的頻率;以及把分別訓練的專家策略蒸餾成一個學生策略。目標條件學習是一種特例,其中各任務只在目標上不同,並共享相同的獎勵結構。
多任務 RL 不同於元強化學習。多任務 RL 在其訓練過的任務上評估,通常已知任務身分;meta-RL 評估的則是它對從同一分布抽出之新任務的適應速度。Meta-World 等基準在同一組操作任務上同時提供這兩種設定,讓兩者的差異變得具體。多任務訓練也是以大量任務的示範資料訓練大型機器人策略時的建構元件之一,不過這些策略通常是以模仿而非強化學習來訓練。
為何重要
實用的機器人需要許多技能,而為每項技能各訓練並維護一個策略無法擴展。多任務 RL 是以強化學習打造單一控制器、涵蓋多種行為的途徑,而在設計這類系統時,了解共享在哪裡有幫助、在哪裡造成干擾至關重要。
主要應用
- 涵蓋多種桌面操作技能的單一策略
- 以語言或目標為條件的機器人控制器
- 把多個專家策略蒸餾成一個可部署的網路
- 跨步態、速度或地形共享的移動策略
- 評比任務之間的遷移與干擾
實際應用
一個團隊希望以單一策略,讓桌面機器手臂完成開抽屜、按按鈕與轉水龍頭。他們在模擬中訓練一個任務條件化的 SAC 代理人,把獨熱任務向量附加到觀測上。早期的訓練顯示,策略學會了兩個任務卻忽略其他任務,因為這兩個任務的獎勵較大,主導了更新。團隊為每個任務加入各自學習的溫度參數,在每個批次中平均取樣任務,並分別追蹤各任務的成功率,而不只看平均值,結果較弱的任務獲得提升,較強的任務也沒有變慢。
常見誤解
- 在更多任務上訓練一定對每個任務都有幫助 — 互相衝突的任務會彼此干擾,多任務策略在某些任務上的表現可能比單任務訓練更差
- 多任務 RL 產生的代理人能適應新任務 — 它是在訓練任務上評估;快速適應未見任務是 meta-RL 的目標
- 跨任務的平均回報就能顯示策略的效果 — 平均值高可能掩蓋了策略沒學會的任務,因此應分別回報各任務的成功率
誰需要了解
- 打造通用策略的機器人學習研究人員
- 在任務套件上訓練的強化學習工程師
- 設計任務條件化方式的操作工程師
- 比較多任務學習、元學習與終身學習的學生
相關技術
- Meta-World
- 策略蒸餾(Policy Distillation)
- 梯度手術(Gradient Surgery,PCGrad)
- Soft Actor-Critic
- 任務嵌入(Task Embeddings)
相關術語
- Meta-Reinforcement Learning
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Lifelong Robot Learning
- Curriculum Learning
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim