Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

著者: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

FlashSAC は大規模ネットワーク、大きなバッチ、少ない更新回数、ノルムの制限によって Soft Actor-Critic を安定化し、高次元タスクで PPO を上回り、G1 の Sim-to-Real 学習を数分に短縮する。

重要な理由

オフポリシー RL が、タスク間で共通の 1 つのハイパーパラメータ設定で Sim-to-Real のヒューマノイド制御に使えること、そして状態と行動の次元が増えるにつれて PPO よりもうまくスケールすることを示している。学習時間が短くなることで、高次元のロボットや、より遅くより現実的なシミュレータでの反復が実用的になる。

課題

PPO は安定しているため Sim-to-Real の RL で主流となっているが、狭いオンポリシーデータのために、器用なハンドやヒューマノイドのような高次元タスクでは価値推定が難しい。オフポリシー手法はリプレイバッファのより幅広いデータを再利用するが、クリティックの当てはめには多くの勾配更新が必要で、時間がかかるうえにブートストラップの誤差が積み重なり、ネットワークが大きいほどそれが顕著になる。

提案手法

FlashSAC は Soft Actor-Critic を基盤とし、教師あり学習のスケーリングの傾向に従う。1024 の並列環境、最大 10M 遷移のリプレイバッファ、バッチサイズ 2048 の 2.5M パラメータ・6 層のネットワークを用い、新しい遷移 1024 件ごとに勾配更新はわずか 2 回である。安定性は重み、特徴量、勾配のノルムの制限によって得られる：逆残差ブロック、プリアクティベーションのバッチ正規化、最終層の RMSNorm、適応的な報酬スケーリングを備えた分布型クリティック、そして重みの単位球面への射影である。探索には、すべてのロボットで固定の行動標準偏差（0.15）によって設定した 1 つのエントロピー目標と、時間的に相関したノイズを得るための低コストな「ノイズ反復」方式を用いる。

主な知見

  • オフポリシー RL では、クリティックが安定化されていれば、より大きなモデルとより大きなバッチ、そしてはるかに少ない勾配更新の組み合わせの方が、実時間でより速く収束する
  • 重み、特徴量、勾配のノルムを制限することでクリティックの損失地形の条件が良好に保たれ、構成要素を 1 つ追加するごとに測定された条件数が低下した
  • リプレイバッファのデータはオンポリシーのロールアウトよりもはるかに広い状態・行動領域をカバーしており、著者はこれを高次元タスクにおける PPO の弱い結果と結びつけている
  • 行動の標準偏差で定義した単一のエントロピー目標（最適範囲 0.15-0.2）は、タスクごとの調整なしに異なる身体構成にわたって機能する
  • サンプリングした行動ノイズを複数ステップにわたって繰り返すことで、大規模並列シミュレーションにおいてメモリコストをほとんどかけずに一貫性のある探索が得られる

主な結果

  • Unitree G1（29-DoF）は約 20 分の学習で実機での平地歩行を達成したが、PPO では約 3 時間かかった
  • Unitree G1 は約 4 時間の学習で実際の 15 cm の階段（学習時に見ていない寸法）を上ったが、PPO では 20 時間近くかかった
  • 10 の高次元 GPU シミュレータタスク（Allegro、Shadow Hand、G1、H1、Booster T1）において、FlashSAC は PPO よりも少ない実時間でより高いリターンに達した。PPO が 200M ステップ（約 3x の計算量）を実行したのに対し、FlashSAC は 50M であった。15 の低次元タスクでは PPO をわずかに上回った
  • 40 の単一環境の CPU タスク（MuJoCo、DeepMind Control、MyoSuite、HumanoidBench）では、1 つの設定で、代表的なタスクにおいて PPO、XQC、SimbaV2、TD-MPC2、MR.Q を上回った
  • 8 つの視覚ベースの DeepMind Control タスクでは、最終性能で DrQ-v2 と MR.Q に匹敵またはそれを上回り、実時間ではより速く収束した
  • アブレーション：最大 10M 遷移のリプレイバッファは結果を改善したが、50M では学習が遅くなった。混合精度により実時間が 5-10% 短縮された

制限事項

  • 著者は、本研究が状態ベースの制御に焦点を当てていると述べ、クリティック安定化の原理を触覚ベースの学習に拡張することを今後の課題としている（限界に関する専用の節はない）
  • 低次元タスクでは PPO に対する向上は小さい。状態・行動空間が小さくシミュレーションが安価な場合には、オンポリシー手法は依然として有効である
  • 非常に大きなリプレイバッファ（50M）では、最近の高品質なサンプルが抽出される頻度が下がるため、学習が遅くなった
  • Sim-to-Real は 1 台のロボット（Unitree G1 の視覚なしロコモーション）でのみ示されており、そこでは FlashSAC と PPO で異なる報酬の重みが用いられ、PPO だけが必要とした終了ペナルティも含まれていた
  • アルゴリズムの更新時間は各設定の代表的な 1 環境でプロファイルされ、すべての環境に流用されているため、実時間の合計は推定値である

分野への影響

RSS 2026 優秀論文賞を受賞。これまでの被引用数は 17。著者はプロジェクトのウェブページを提供しているが、論文自体にはコードへのリンクはない。

概要

強化学習（RL）は、エキスパートのデモンストレーションが得られない場合のロボット制御における中核的なアプローチである。Proximal Policy Optimization（PPO）のようなオンポリシー手法はその安定性から広く使われているが、狭く分布したオンポリシーデータに依存するため、高次元の状態・行動空間における正確な方策評価が制限される。オフポリシー手法は、より広い状態・行動分布から学習することでこの制約を克服できるが、多様なデータに価値関数を当てはめるには多くの勾配更新が必要となり、ブートストラップを通じてクリティックの誤差が蓄積するため、収束の遅さと不安定性に悩まされる。我々は、Soft Actor-Critic を基盤とした高速かつ安定なオフポリシー RL アルゴリズム FlashSAC を提示する。教師あり学習で観察されたスケーリング則に着想を得て、FlashSAC は勾配更新を大幅に減らし、その分をより大きなモデルとより高いデータスループットで補う。規模を拡大しても安定性を保つため、FlashSAC は重み、特徴量、勾配のノルムを明示的に制限し、クリティックの誤差の蓄積を抑える。10 のシミュレータにおける 60 以上のタスクにわたり、FlashSAC は最終性能と学習効率の両面で PPO や強力なオフポリシーのベースラインを一貫して上回り、器用な操作のような高次元タスクで最大の向上を示した。Sim-to-Real のヒューマノイドのロコモーションでは、FlashSAC は学習時間を数時間から数分に短縮し、Sim-to-Real 転移におけるオフポリシー RL の可能性を示している。

リンク

  • arXiv 2604.04539: https://arxiv.org/abs/2604.04539
  • DOI 10.48550/arXiv.2604.04539: https://doi.org/10.48550/arXiv.2604.04539
  • PDF: https://arxiv.org/pdf/2604.04539v1
  • プロジェクトページ: https://holiday-robot.github.io/FlashSAC

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。