Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Goal-Conditioned Policy

  • 又稱: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
  • 類別: Learning & autonomy › RL & simulation
  • 標籤: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning

一種控制策略,在觀測之外把目標當作額外輸入,讓一個學習而得的模型能抵達許多不同的目標,而不是只為單一任務訓練。

定義

目標條件策略(Goal-conditioned policies)同時依據目前的觀測與指定的目標來選擇動作,記為 π(a | s, g)。標準策略學會做一件事;目標條件策略則學會一整族以目標為索引的行為。同一個網路可以把機器人驅動到許多位置、把物體擺成許多姿態,或抵達所給定的任何目標影像。

目標可以有許多形式:目標位置或姿態、期望的關節組態、場景應有樣貌的影像,或一條語言指令。在導航中,影像目標很常見:讓機器人看一張某個地點的照片,它必須抵達那裡。在操作中,目標通常是目標物體的姿態,或期望擺放方式的影像。

在強化學習中,目標條件透過目標條件價值函數來形式化,例如通用價值函數逼近器,它估計機器人從每個狀態抵達每個目標的能力。一個實務上的困難是,抵達某個特定目標的獎勵很少出現。事後經驗回放(Hindsight experience replay)的解決方式,是把一次失敗的嘗試重新標註為對實際抵達之目標的成功,讓每一條軌跡都成為有用的訓練資料。

目標條件在以大型資料集進行的模仿學習中也居於核心。示範或記錄下來的自由操作(play)資料,可以用取自同一條軌跡中較晚時刻的目標重新標註,讓單一資料集就能教會策略如何達成許多結果。目標條件策略常與提供一連串中間目標的規劃器或地圖結合,讓短時域的策略完成長時域的任務。

為何重要

目標條件策略讓一個模型服務許多任務,更能善用昂貴的機器人資料,並為規劃器提供可重複呼叫的低階技能。它們是高階任務描述與學習式控制之間常見的介面。

主要應用

  • 影像目標與位置目標導航
  • 目標物體姿態或擺放方式會變動的多任務操作
  • 以事後重新標註訓練的伸手觸及與推動任務
  • 在階層式系統中由規劃器呼叫的低階技能

實際應用

導航團隊可能會訓練一個策略,以目前的攝影機影像與目標位置的影像為輸入,輸出速度指令。訓練資料來自記錄下來的機器人行駛紀錄,其中同一次執行中較晚的影格被當作較早影格的目標。部署時,由拓樸地圖或規劃器提供一連串子目標影像,策略再依序朝每一個前進。團隊會在保留的目標上衡量成功率,而不只是在訓練時見過的目標上。

常見誤解

  • 目標條件策略能抵達任何目標 — 它只能在與訓練中出現過的目標相似的目標之間泛化
  • 目標條件只適用於強化學習 — 它在模仿學習中同樣常見,在那裡目標是從示範資料重新標註而來
  • 目標條件策略能取代規劃 — 對於長任務,它通常需要規劃器或地圖來提供鄰近的子目標

誰需要了解

  • 從事強化學習與模仿學習的機器人學習研究人員
  • 使用學習式控制器的導航工程師
  • 建構階層式規劃與控制系統的工程師

相關技術

  • 強化學習(Reinforcement Learning)
  • 事後經驗回放(Hindsight Experience Replay)
  • 通用價值函數逼近器(Universal Value Function Approximators)
  • 模仿學習(Imitation Learning)
  • 擴散策略(Diffusion Policy)
  • 拓樸地圖(Topological Map)

相關術語

  • Imitation Learning
  • Reinforcement Learning
  • Diffusion Policy

相關專案

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。