Goal-Conditioned Policy
- 又稱: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
- 類別: Learning & autonomy › RL & simulation
- 標籤: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning
一種控制策略,在觀測之外把目標當作額外輸入,讓一個學習而得的模型能抵達許多不同的目標,而不是只為單一任務訓練。
定義
目標條件策略(Goal-conditioned policies)同時依據目前的觀測與指定的目標來選擇動作,記為 π(a | s, g)。標準策略學會做一件事;目標條件策略則學會一整族以目標為索引的行為。同一個網路可以把機器人驅動到許多位置、把物體擺成許多姿態,或抵達所給定的任何目標影像。
目標可以有許多形式:目標位置或姿態、期望的關節組態、場景應有樣貌的影像,或一條語言指令。在導航中,影像目標很常見:讓機器人看一張某個地點的照片,它必須抵達那裡。在操作中,目標通常是目標物體的姿態,或期望擺放方式的影像。
在強化學習中,目標條件透過目標條件價值函數來形式化,例如通用價值函數逼近器,它估計機器人從每個狀態抵達每個目標的能力。一個實務上的困難是,抵達某個特定目標的獎勵很少出現。事後經驗回放(Hindsight experience replay)的解決方式,是把一次失敗的嘗試重新標註為對實際抵達之目標的成功,讓每一條軌跡都成為有用的訓練資料。
目標條件在以大型資料集進行的模仿學習中也居於核心。示範或記錄下來的自由操作(play)資料,可以用取自同一條軌跡中較晚時刻的目標重新標註,讓單一資料集就能教會策略如何達成許多結果。目標條件策略常與提供一連串中間目標的規劃器或地圖結合,讓短時域的策略完成長時域的任務。
為何重要
目標條件策略讓一個模型服務許多任務,更能善用昂貴的機器人資料,並為規劃器提供可重複呼叫的低階技能。它們是高階任務描述與學習式控制之間常見的介面。
主要應用
- 影像目標與位置目標導航
- 目標物體姿態或擺放方式會變動的多任務操作
- 以事後重新標註訓練的伸手觸及與推動任務
- 在階層式系統中由規劃器呼叫的低階技能
實際應用
導航團隊可能會訓練一個策略,以目前的攝影機影像與目標位置的影像為輸入,輸出速度指令。訓練資料來自記錄下來的機器人行駛紀錄,其中同一次執行中較晚的影格被當作較早影格的目標。部署時,由拓樸地圖或規劃器提供一連串子目標影像,策略再依序朝每一個前進。團隊會在保留的目標上衡量成功率,而不只是在訓練時見過的目標上。
常見誤解
- 目標條件策略能抵達任何目標 — 它只能在與訓練中出現過的目標相似的目標之間泛化
- 目標條件只適用於強化學習 — 它在模仿學習中同樣常見,在那裡目標是從示範資料重新標註而來
- 目標條件策略能取代規劃 — 對於長任務,它通常需要規劃器或地圖來提供鄰近的子目標
誰需要了解
- 從事強化學習與模仿學習的機器人學習研究人員
- 使用學習式控制器的導航工程師
- 建構階層式規劃與控制系統的工程師
相關技術
- 強化學習(Reinforcement Learning)
- 事後經驗回放(Hindsight Experience Replay)
- 通用價值函數逼近器(Universal Value Function Approximators)
- 模仿學習(Imitation Learning)
- 擴散策略(Diffusion Policy)
- 拓樸地圖(Topological Map)
相關術語
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim