FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control
作者: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
FlashSAC 以大型網路、大批次、少量更新與範數限制來穩定 Soft Actor-Critic，在高維任務上勝過 PPO，並將 G1 的模擬到現實訓練縮短到數分鐘。
為何重要
它證明離策略 RL 能以單一組跨任務的超參數設定，用於模擬到現實的人形機器人控制，而且隨著狀態與動作維度增加，其擴展性優於 PPO。更短的訓練時間，讓在高維機器人與較慢、較擬真的模擬器上反覆迭代變得可行。
問題
PPO 因為穩定而主導模擬到現實的 RL，但其狹窄的同策略資料，讓靈巧手與人形機器人等高維任務的價值估計變得困難。離策略方法會重複使用經驗回放緩衝區中更廣泛的資料，但擬合 critic 需要大量梯度更新，不僅緩慢，還會讓自舉誤差不斷疊加，在網路較大時尤其明顯。
提出的方法
FlashSAC 以 Soft Actor-Critic 為基礎，並依循監督式學習的縮放趨勢：1024 個平行環境、最多 10M 筆轉移的經驗回放緩衝區、一個 2.5M 參數、6 層、批次大小 2048 的網路，且每 1024 筆新轉移只進行 2 次梯度更新。穩定性來自限制權重、特徵與梯度的範數：倒置殘差區塊、預啟動批次正規化、最後的 RMSNorm、具自適應獎勵縮放的分布式 critic，以及將權重投影到單位球面上。探索方面，所有機器人共用由固定動作標準差（0.15）設定的同一個熵目標，再加上一種低成本的「雜訊重複」機制來產生時間相關的雜訊。
關鍵見解
- 在離策略 RL 中，只要 critic 穩定，更大的模型搭配更大的批次與少得多的梯度更新，在實際耗時上收斂得更快
- 限制權重、特徵與梯度的範數，能讓 critic 的損失地形維持良好的條件；每多加一個元件，量測到的條件數都隨之降低
- 經驗回放緩衝區中的資料所涵蓋的狀態-動作範圍遠比同策略 rollout 廣，作者將此與 PPO 在高維任務上較弱的結果連結起來
- 以動作標準差定義的單一熵目標（最佳範圍 0.15-0.2）可跨不同本體使用，不需針對每個任務調整
- 將取樣得到的動作雜訊在數個步驟間重複使用，能在大規模平行模擬中以幾乎零的記憶體成本達成連貫的探索
主要結果
- Unitree G1（29-DoF）經約 20 分鐘訓練後就能在實體硬體上於平地行走，PPO 則需約 3 小時
- Unitree G1 經約 4 小時訓練後爬上真實的 15 cm 階梯（其尺寸在訓練中未曾出現），PPO 則需將近 20 小時
- 在 10 項高維 GPU 模擬器任務上（Allegro、Shadow Hand、G1、H1、Booster T1），FlashSAC 以比 PPO 更少的實際耗時達到更高的回報，即使 PPO 跑了 200M 步（約 3x 的運算量），FlashSAC 只跑 50M；在 15 項低維任務上，它略優於 PPO
- 在 40 項單一環境的 CPU 任務上（MuJoCo、DeepMind Control、MyoSuite、HumanoidBench），它以單一設定在代表性任務上優於 PPO、XQC、SimbaV2、TD-MPC2 與 MR.Q
- 在 8 項以視覺為基礎的 DeepMind Control 任務上，其最終表現與 DrQ-v2 及 MR.Q 相當或更好，且在實際耗時上收斂更快
- 消融實驗：最多 10M 筆轉移的經驗回放緩衝區改善了結果，50M 則拖慢學習；混合精度讓實際耗時減少 5-10%
限制
- 作者指出這項研究聚焦於以狀態為基礎的控制，並將把 critic 穩定化原則延伸到以觸覺為基礎的學習留待未來研究（沒有專門的限制章節）
- 在低維任務上相對 PPO 的提升很小：當狀態-動作空間較小且模擬成本低廉時，同策略方法依然有效
- 非常大的經驗回放緩衝區（50M）會拖慢學習，因為近期的高品質樣本被抽到的頻率變低
- 模擬到現實只在一台機器人上展示（Unitree G1 無視覺行走運動），而且 FlashSAC 與 PPO 在此使用不同的獎勵權重，包括只有 PPO 需要的終止懲罰
- 演算法更新時間是在每種設定的一個代表性環境上量測，再套用到所有環境，因此總實際耗時為估計值
對領域的影響
榮獲 RSS 2026 傑出論文獎；目前已被引用 17 次。作者提供了專案網頁；論文本身未提供程式碼連結。
摘要
在缺乏專家示範時，強化學習（RL）是機器人控制的核心方法。近端策略最佳化（PPO）等同策略方法因其穩定性而廣受使用，但它們仰賴分布狹窄的同策略資料，限制了在高維狀態與動作空間中進行準確的策略評估。離策略方法能從更廣泛的狀態-動作分布中學習，以克服這項限制，卻有收斂緩慢與不穩定的問題，因為在多樣化資料上擬合價值函數需要大量梯度更新，使 critic 的誤差透過自舉不斷累積。我們提出 FlashSAC，一種以 Soft Actor-Critic 為基礎、快速又穩定的離策略 RL 演算法。受監督式學習中觀察到的縮放定律啟發，FlashSAC 大幅減少梯度更新次數，並以更大的模型與更高的資料吞吐量加以彌補。為了在更大規模下維持穩定，FlashSAC 明確限制權重、特徵與梯度的範數，抑制 critic 誤差的累積。在 10 個模擬器中的 60 多項任務上，FlashSAC 在最終表現與訓練效率上都始終優於 PPO 與強大的離策略基準方法，在靈巧操作等高維任務上的提升最大。在模擬到現實的人形機器人行走運動中，FlashSAC 將訓練時間從數小時縮短到數分鐘，展現了離策略 RL 在模擬到現實轉移上的潛力。
連結
- arXiv 2604.04539: https://arxiv.org/abs/2604.04539
- DOI 10.48550/arXiv.2604.04539: https://doi.org/10.48550/arXiv.2604.04539
- PDF: https://arxiv.org/pdf/2604.04539v1
- 專案頁面: https://holiday-robot.github.io/FlashSAC