FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

作者: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

FlashSAC 以大型网络、大批量、少量更新和范数约束来稳定 Soft Actor-Critic，在高维任务上胜过 PPO，并将 G1 从仿真到现实的训练缩短到数分钟。

为何重要

它表明离策略 RL 可以用单一超参数配置跨任务地用于从仿真到现实的人形机器人控制，并且随着状态和动作维度的增长，其扩展性优于 PPO。更短的训练时间使得在高维机器人和更慢、更逼真的仿真器上进行迭代变得可行。

问题

PPO 因其稳定性而在从仿真到现实的 RL 中占据主导地位，但其狭窄的同策略数据使灵巧手和人形机器人等高维任务中的价值估计变得困难。离策略方法会复用经验回放缓冲区中更广泛的数据，但拟合 critic 需要大量梯度更新，这不仅慢，还会让自举误差不断叠加，在网络更大时尤其如此。

提出的方法

FlashSAC 基于 Soft Actor-Critic，并遵循监督学习的缩放趋势：1024 个并行环境，最多 10M 次转移的经验回放缓冲区，一个 2.5M 参数、6 层、批量大小为 2048 的网络，并且每 1024 次新转移仅进行 2 次梯度更新。稳定性来自对权重、特征和梯度范数的约束：倒残差块、预激活批归一化、最终的 RMSNorm、带自适应奖励缩放的分布式 critic，以及将权重投影到单位球面上。探索方面，所有机器人使用由固定动作标准差（0.15）设定的同一个熵目标，外加一种低成本的“噪声重复”方案来生成时间相关的噪声。

关键见解

在离策略 RL 中，只要 critic 得到稳定，更大的模型配合更大的批量和少得多的梯度更新，在实际耗时上收敛更快
约束权重、特征和梯度的范数可使 critic 的损失曲面保持良好的条件；每增加一个组件，测得的条件数都会降低
经验回放缓冲区中的数据覆盖的状态-动作区域远比同策略 rollout 广泛，作者将此与 PPO 在高维任务上较弱的结果联系起来
由动作标准差定义的单一熵目标（最佳范围 0.15-0.2）可跨不同本体使用，无需针对每个任务调参
在多个步骤上重复使用采样得到的动作噪声，可在大规模并行仿真中以几乎为零的内存开销实现连贯的探索

主要结果

Unitree G1（29-DoF）经约 20 分钟训练后即可在硬件上进行平地行走，而 PPO 需要约 3 小时
Unitree G1 经约 4 小时训练后爬上了真实的 15 cm 台阶（其尺寸在训练中未出现过），而 PPO 需要近 20 小时
在 10 个高维 GPU 仿真器任务上（Allegro、Shadow Hand、G1、H1、Booster T1），FlashSAC 以比 PPO 更少的实际耗时获得了更高的回报，尽管 PPO 运行了 200M 步（约 3x 的算力），而 FlashSAC 为 50M；在 15 个低维任务上，它略优于 PPO
在 40 个单环境 CPU 任务上（MuJoCo、DeepMind Control、MyoSuite、HumanoidBench），它以单一配置在代表性任务上优于 PPO、XQC、SimbaV2、TD-MPC2 和 MR.Q
在 8 个基于视觉的 DeepMind Control 任务上，它的最终性能与 DrQ-v2 和 MR.Q 持平或更优，且在实际耗时上收敛更快
消融实验：最多 10M 次转移的经验回放缓冲区改善了结果，而 50M 则减慢了学习；混合精度使实际耗时减少了 5-10%

局限

作者指出，这项工作聚焦于基于状态的控制，并将把 critic 稳定化原则扩展到基于触觉的学习留作未来工作（没有专门的局限性章节）
在低维任务上相对于 PPO 的提升很小：当状态-动作空间较小且仿真成本较低时，同策略方法仍然有效
非常大的经验回放缓冲区（50M）会减慢学习，因为近期的高质量样本被抽到的频率更低
从仿真到现实仅在一台机器人上展示（Unitree G1 无视觉运动），且 FlashSAC 和 PPO 在其中使用了不同的奖励权重，包括只有 PPO 需要的终止惩罚
算法更新时间是在每种设置的一个代表性环境上测得，并沿用到所有环境，因此总的实际耗时是估计值

对领域的影响

荣获 RSS 2026 杰出论文奖；目前已被引用 17 次。作者提供了项目网页；论文本身未给出代码链接。

摘要

当缺乏专家示范时，强化学习（RL）是机器人控制的核心方法。近端策略优化（PPO）等同策略方法因其稳定性而被广泛使用，但它们依赖分布狭窄的同策略数据，这限制了在高维状态和动作空间中进行准确的策略评估。离策略方法可以通过从更广泛的状态-动作分布中学习来克服这一限制，但存在收敛慢和不稳定的问题，因为在多样化数据上拟合价值函数需要大量梯度更新，导致 critic 误差通过自举不断累积。我们提出 FlashSAC，一种基于 Soft Actor-Critic 的快速且稳定的离策略 RL 算法。受监督学习中观察到的缩放定律启发，FlashSAC 大幅减少梯度更新次数，同时以更大的模型和更高的数据吞吐量加以弥补。为在更大规模下保持稳定，FlashSAC 显式地约束权重、特征和梯度的范数，抑制 critic 误差的累积。在 10 个仿真器中的 60 多个任务上，FlashSAC 在最终性能和训练效率方面始终优于 PPO 和强大的离策略基线，在灵巧操作等高维任务上的提升最大。在从仿真到现实的人形机器人运动任务中，FlashSAC 将训练时间从数小时缩短到数分钟，展示了离策略 RL 在从仿真到现实迁移方面的前景。

链接

arXiv 2604.04539: https://arxiv.org/abs/2604.04539
DOI 10.48550/arXiv.2604.04539: https://doi.org/10.48550/arXiv.2604.04539
PDF: https://arxiv.org/pdf/2604.04539v1
项目主页: https://holiday-robot.github.io/FlashSAC