Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Hindsight Experience Replay (HER)

  • 又稱: HER
  • 類別: Learning & autonomy › RL & simulation
  • 標籤: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation

一種用於目標條件強化學習的技術,以代理人實際達到的目標重新標註失敗的回合,把稀疏獎勵下的失敗轉成有用的訓練資料。

定義

事後經驗回放(Hindsight experience replay,HER)處理的是機器人學習中的一個常見問題:在只有抵達目標時才給予的稀疏獎勵下,隨機行動的機器人幾乎永遠不會成功,因此得不到任何學習訊號。HER 由 Andrychowicz 等人於 2017 年提出,它在事後假裝目標原本就是代理人實際達到的狀態,藉此重複利用每一個失敗的回合。一個試圖把方塊推到 A 點、卻把它留在 B 點的回合,就變成把方塊推到 B 點的成功範例。

此方法搭配目標條件策略與價值函數(同時以狀態與期望目標作為輸入),以及 DDPG、TD3 或 SAC 等從回放緩衝區學習的離策略演算法使用。每筆儲存的狀態轉移都會被複製一份,換上替代的目標,並針對該目標重新計算獎勵。選擇替代目標有幾種策略:回合的最終狀態、同一回合中的隨機狀態,或最常用的,同一回合中之後達到的某個狀態(即 "future" 策略)。由於必須為任意目標重新計算獎勵,HER 需要一個能對任意目標求值的獎勵函數,通常是判斷達到的目標是否落在期望目標的某個容許誤差內。

HER 的作用相當於一種隱性的課程:初期,重新標註的目標都是機器人原本就會停留之處附近的簡單目標;隨著策略改善,它能達到的目標逐漸擴散,涵蓋整個空間。當目標無法從達到的狀態讀出、獎勵不只取決於最終結果,或使用無法重複利用舊資料的同策略演算法時,它就沒有幫助。重新標註也會讓緩衝區中的目標分布產生偏差,後續研究已檢視這一點,並以多種方式加以修正。

為何重要

對許多操作任務來說,稀疏的成功獎勵是最自然的設定方式,但直接從中學習非常困難。HER 讓我們不需人工塑形的獎勵項,只靠二元獎勵就能實際訓練推動、滑動與取放策略,此後目標重新標註已成為目標條件學習中的標準工具。

主要應用

  • 機器手臂在稀疏獎勵下的推動、滑動與取放
  • 訓練能抵達任意目標位置的目標條件策略
  • 只靠成功獎勵學習導航至目標位置
  • 以示範或玩耍資料實際達到的目標將其重新標註
  • 離策略強化學習的多目標基準

實際應用

一位工程師訓練一支模擬機器手臂把方塊放到隨機選定的目標位置,成功時獎勵為 0,否則為 -1。沒有 HER 時,SAC 幾乎沒有進步,因為方塊很少會碰巧落在目標上。使用 HER 後,每筆狀態轉移還會連同從該回合之後達到的方塊位置中抽取的目標一起儲存,若方塊位於替代目標幾公分之內,獎勵就重新計算為成功。工程師檢查觀測是否清楚區分已達到的目標(方塊位置)與期望目標,這樣重新標註的程式碼才能把兩者互換。

常見誤解

  • HER 適用於任何強化學習演算法 — 它仰賴重複利用儲存的狀態轉移,因此適合 DDPG、TD3 與 SAC 等離策略方法,而不適合 PPO 等同策略方法
  • HER 讓獎勵設計變得完全不必要 — 它仍需要一個能針對任意目標計算的獎勵,以及明確界定狀態中哪一部分算是已達到的目標
  • 重新標註的資料沒有偏差 — 以已達到的目標替換,會改變緩衝區中目標與結果的分布,可能使價值估計產生偏差

誰需要了解

  • 從事操作任務的強化學習實務工作者
  • 使用稀疏或二元獎勵的機器人學習研究人員
  • 建構目標條件策略的工程師
  • 實作離策略學習演算法的學生

相關技術

  • 深度確定性策略梯度(Deep Deterministic Policy Gradient,DDPG)
  • 雙延遲 DDPG(Twin Delayed DDPG,TD3)
  • 回放緩衝區(Replay Buffer)
  • 通用價值函數近似器(Universal Value Function Approximators)
  • Gymnasium-Robotics

相關術語

  • Goal-Conditioned Policy
  • Reinforcement Learning
  • Soft Actor-Critic
  • Markov Decision Process (MDP)
  • Curriculum Learning
  • Play Data

相關專案

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills

影片

  • Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。