Reward Shaping
- 類別: Learning & autonomy › RL & simulation
- 標籤: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation
在強化學習的獎勵中加入額外的項,讓代理人在第一次到達目標之前就獲得有用的回饋,理想上不改變哪種行為是最佳的。
定義
獎勵塑形(reward shaping)會修改強化學習問題的獎勵函數,讓學習更容易。許多機器人任務的自然獎勵是稀疏的:只有在抽屜被打開或插銷被插入時,代理人才會收到訊號。在隨機探索下,機器人可能幾乎永遠到不了那個狀態,因此幾乎收不到學習訊號。塑形會加入中間項,例如夾爪到把手距離的負值、穩定抓取的獎勵加成,或在一連串子目標中的進度,使代理人在第一次成功之前很久就能得到回饋。
風險在於,塑形後的獎勵會改變任務。因靠近把手而獲得獎勵的機器人,可能學會在把手附近懸停卻不去拉它;對前進速度的獎勵可能產生利用模擬器缺陷的步態。Ng、Harada 與 Russell(1999)證明,具有特定形式的塑形項 F(s, s′) = γΦ(s′) − Φ(s)(其中 Φ 是定義在狀態上的勢函數)不會改變原問題的最佳策略。這稱為以勢函數為基礎的獎勵塑形。由於在這類項之下,沿著狀態循環移動所累積的任何獎勵總和為零,代理人無法從不推進任務的迴圈中獲利。不具這種形式的項可能改變最佳策略。這有時是刻意的,也就是額外的項表達了真實的偏好,例如平順的運動或低能耗,但這應該是經過考慮的選擇。
在機器人實務中,用於行走運動與操作的獎勵往往組合了許多加權項,而調整這些權重佔去了很大一部分工程心力。補充與替代方法包括課程學習、對目標的事後重新標記、從示範中學習、逆強化學習,以及由學習而得的視覺表示計算出的獎勵,例如對朝向某張子目標影像之進度的估計。這些方法減少了人工設計獎勵的工作,但也帶來各自的失效模式。
為何重要
一個機器人學習任務究竟能否收斂,常常取決於它的獎勵。大多數模擬中的行走運動與操作策略正是靠塑形才變得可訓練,而塑形不當的獎勵,是策略在訓練中得分很高、卻無法完成預期任務的常見原因。
主要應用
- 在任務成功稀疏時訓練操作策略
- 結合速度追蹤、姿勢與能量項的足式行走運動獎勵
- 拆分成子目標並帶有進度獎勵的長時程任務
- 帶有到目標距離項的導航
- 在模擬中訓練的靈巧手內操作
實際應用
一個團隊在模擬中訓練打開櫃子抽屜的策略。若只在抽屜被打開時給予獎勵,訓練毫無進展。他們加入夾爪到把手距離的負值項、每次抓住把手時的獎勵加成,以及一個與抽屜打開程度成正比的項。策略很快學會伸手與抓取,但隨後停滯不前,因為放開再重新抓住把手,會一次又一次地拿到抓取加成。他們以一個以勢函數為基礎的項取代這個加成,也就是一個隨抽屜打開、隨夾爪靠近把手而上升的勢函數在相鄰兩步之間的變化量,如此在狀態之間來回循環整體上什麼也得不到;他們也加入對關節速度的小懲罰,讓運動更平順。他們以稀疏的成功標準評判最終策略,而不是以塑形後的回報。
常見誤解
- 任何附加的獎勵項只要指向目標就無害 — 不是以勢函數為基礎的項可能改變最佳策略,並招致獎勵投機(reward hacking)
- 塑形後的回報越高,策略就越好 — 只有在真實任務目標上的表現,才能看出策略是否做了預期的事
- 以勢函數為基礎的塑形總能加快學習 — 它會保留最佳策略,但選得不好的勢函數仍可能拖慢探索
- 獎勵塑形與課程學習是同一回事 — 塑形改變的是獎勵,而課程改變的是任務與環境的順序或難度
誰需要了解
- 訓練機器人策略的強化學習工程師
- 在模擬中工作的行走運動與操作研究人員
- 建置訓練環境的模擬工程師
- 學習機器人強化學習的學生
相關技術
- 以勢函數為基礎的獎勵塑形(Potential-Based Reward Shaping)
- 稀疏獎勵(Sparse Rewards)
- Hindsight Experience Replay
- 課程學習(Curriculum Learning)
- 逆強化學習(Inverse Reinforcement Learning)
- 學習而得的獎勵模型(Learned Reward Models)
相關術語
- Reinforcement Learning
- Markov Decision Process (MDP)
- Curriculum Learning
- Hindsight Experience Replay (HER)
- Inverse Reinforcement Learning
相關專案
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
影片
- Reward Shaping: Udacity