Asymmetric Actor-Critic

又稱: asymmetric critic, privileged critic
類別: Learning & autonomy › RL & simulation
標籤: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

一種 actor-critic 強化學習設定：critic 以特權模擬器狀態訓練，而 actor 只使用真實機器人將會擁有的觀測。

定義

非對稱 actor-critic（Asymmetric actor-critic）是一種在訓練環境比部署後的機器人掌握更多資訊時，以 actor-critic 強化學習演算法訓練策略的方式。actor 最終會成為部署的策略，它只接收實際可取得的觀測，例如攝影機影像、關節編碼器讀數或帶有雜訊的物體姿態估測。critic 估計狀態的價值，它存在的目的只是在訓練期間降低策略梯度的變異數；它會額外得到特權資訊：精確的物體姿態與速度、接觸力、摩擦係數以及其他模擬器狀態。Pinto 與同事於 2018 年針對以影像為基礎的機器人學習提出這個名稱，當時 actor 看到的是影像，而 critic 看到的是完整狀態。

這個構想之所以可行，是因為 critic 在訓練後就會被丟棄。它所用的任何輸入都不必在真實機器人上量測，因此可以把任何能讓價值估計最容易的資訊提供給它。擁有完整狀態的 critic，比必須從部分觀測推斷隱藏量的 critic 學得更快、更準確，進而為 actor 提供更好的學習訊號。這種方法很自然地適用於 PPO 等同策略方法（例如在 Isaac Gym 中用於手內重新定向），也適用於 DDPG 或 SAC 等離策略方法。

非對稱 actor-critic 不同於教師-學生訓練（teacher-student training）。在教師-學生訓練中，會先用特權輸入訓練一個獨立的教師策略，再將其蒸餾成只看得到真實觀測的學生策略。在非對稱 actor-critic 中只有一個策略，直接以強化學習在實際可得的輸入上訓練；只有價值函數是特權的。兩者經常結合使用。一個細微之處在於，在部分可觀測的情況下，只以真實狀態為條件的 critic，可能對依據觀測歷史行動的策略給出有偏差的價值估計，因此許多實作會把特權狀態與 actor 的觀測一併輸入 critic。

為何重要

模擬到現實的強化學習需要能在真實感測器上執行的策略，但從部分且帶雜訊的觀測中學習既緩慢又不穩定。把特權模擬器狀態提供給 critic，是對標準演算法的一項低成本修改，往往能讓訓練快得多、可靠得多，而且不會增加部署後機器人必須量測的任何東西。

主要應用

以靈巧機器人手進行手內物體重新定向
在模擬中訓練的以影像為基礎的操作策略
利用特權地形與接觸資訊訓練的足式行走運動策略
使用 GPU 平行模擬器的模擬到現實強化學習
模擬器能揭露隱藏狀態的部分可觀測控制任務

實際應用

某團隊以 PPO 在 GPU 模擬器中訓練多指手對物體進行重新定向。actor 網路接收指尖位置、關節角度，以及加入雜訊與延遲的物體姿態估測，與以攝影機為基礎的姿態追蹤器在硬體上將提供的資訊相符。critic 網路接收相同的輸入，外加精確的物體姿態、線速度與角速度、目標方向，以及該環境中經隨機化的摩擦與質量數值。兩個網路共用相同的 rollout，並一起更新。部署時只有 actor 的權重會匯出到機器人電腦上；critic 與只存在於模擬器中的輸入再也不需要。

常見誤解

部署的策略會使用特權狀態 — 只有 critic 在訓練期間看得到它，而 critic 在部署時會被丟棄
它與教師-學生訓練相同 — 教師-學生訓練是先訓練一個特權策略再加以蒸餾，而非對稱 actor-critic 是以特權價值函數直接訓練一個使用實際輸入的策略
只用狀態的 critic 一定正確 — 在部分可觀測的情況下，它可能讓以觀測為基礎的 actor 的價值估計產生偏差，這正是 critic 常常也會被輸入 actor 觀測的原因

誰需要了解

從事模擬到現實轉移的強化學習工程師
靈巧操作研究人員
在模擬中訓練策略的足式行走運動開發人員
為訓練設計觀測空間的模擬工程師

Open Source Robotics

Asymmetric Actor-Critic

定義

為何重要

主要應用

實際應用

常見誤解

誰需要了解

相關技術

相關術語

相關專案