Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Reward Shaping

  • 類別: Learning & autonomy › RL & simulation
  • 標籤: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation

在強化學習的獎勵中加入額外的項,讓代理人在第一次到達目標之前就獲得有用的回饋,理想上不改變哪種行為是最佳的。

定義

獎勵塑形(reward shaping)會修改強化學習問題的獎勵函數,讓學習更容易。許多機器人任務的自然獎勵是稀疏的:只有在抽屜被打開或插銷被插入時,代理人才會收到訊號。在隨機探索下,機器人可能幾乎永遠到不了那個狀態,因此幾乎收不到學習訊號。塑形會加入中間項,例如夾爪到把手距離的負值、穩定抓取的獎勵加成,或在一連串子目標中的進度,使代理人在第一次成功之前很久就能得到回饋。

風險在於,塑形後的獎勵會改變任務。因靠近把手而獲得獎勵的機器人,可能學會在把手附近懸停卻不去拉它;對前進速度的獎勵可能產生利用模擬器缺陷的步態。Ng、Harada 與 Russell(1999)證明,具有特定形式的塑形項 F(s, s′) = γΦ(s′) − Φ(s)(其中 Φ 是定義在狀態上的勢函數)不會改變原問題的最佳策略。這稱為以勢函數為基礎的獎勵塑形。由於在這類項之下,沿著狀態循環移動所累積的任何獎勵總和為零,代理人無法從不推進任務的迴圈中獲利。不具這種形式的項可能改變最佳策略。這有時是刻意的,也就是額外的項表達了真實的偏好,例如平順的運動或低能耗,但這應該是經過考慮的選擇。

在機器人實務中,用於行走運動與操作的獎勵往往組合了許多加權項,而調整這些權重佔去了很大一部分工程心力。補充與替代方法包括課程學習、對目標的事後重新標記、從示範中學習、逆強化學習,以及由學習而得的視覺表示計算出的獎勵,例如對朝向某張子目標影像之進度的估計。這些方法減少了人工設計獎勵的工作,但也帶來各自的失效模式。

為何重要

一個機器人學習任務究竟能否收斂,常常取決於它的獎勵。大多數模擬中的行走運動與操作策略正是靠塑形才變得可訓練,而塑形不當的獎勵,是策略在訓練中得分很高、卻無法完成預期任務的常見原因。

主要應用

  • 在任務成功稀疏時訓練操作策略
  • 結合速度追蹤、姿勢與能量項的足式行走運動獎勵
  • 拆分成子目標並帶有進度獎勵的長時程任務
  • 帶有到目標距離項的導航
  • 在模擬中訓練的靈巧手內操作

實際應用

一個團隊在模擬中訓練打開櫃子抽屜的策略。若只在抽屜被打開時給予獎勵,訓練毫無進展。他們加入夾爪到把手距離的負值項、每次抓住把手時的獎勵加成,以及一個與抽屜打開程度成正比的項。策略很快學會伸手與抓取,但隨後停滯不前,因為放開再重新抓住把手,會一次又一次地拿到抓取加成。他們以一個以勢函數為基礎的項取代這個加成,也就是一個隨抽屜打開、隨夾爪靠近把手而上升的勢函數在相鄰兩步之間的變化量,如此在狀態之間來回循環整體上什麼也得不到;他們也加入對關節速度的小懲罰,讓運動更平順。他們以稀疏的成功標準評判最終策略,而不是以塑形後的回報。

常見誤解

  • 任何附加的獎勵項只要指向目標就無害 — 不是以勢函數為基礎的項可能改變最佳策略,並招致獎勵投機(reward hacking)
  • 塑形後的回報越高,策略就越好 — 只有在真實任務目標上的表現,才能看出策略是否做了預期的事
  • 以勢函數為基礎的塑形總能加快學習 — 它會保留最佳策略,但選得不好的勢函數仍可能拖慢探索
  • 獎勵塑形與課程學習是同一回事 — 塑形改變的是獎勵,而課程改變的是任務與環境的順序或難度

誰需要了解

  • 訓練機器人策略的強化學習工程師
  • 在模擬中工作的行走運動與操作研究人員
  • 建置訓練環境的模擬工程師
  • 學習機器人強化學習的學生

相關技術

  • 以勢函數為基礎的獎勵塑形(Potential-Based Reward Shaping)
  • 稀疏獎勵(Sparse Rewards)
  • Hindsight Experience Replay
  • 課程學習(Curriculum Learning)
  • 逆強化學習(Inverse Reinforcement Learning)
  • 學習而得的獎勵模型(Learned Reward Models)

相關術語

  • Reinforcement Learning
  • Markov Decision Process (MDP)
  • Curriculum Learning
  • Hindsight Experience Replay (HER)
  • Inverse Reinforcement Learning

相關專案

  • GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware

影片

  • Reward Shaping: Udacity

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。