Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Steering Your Diffusion Policy with Latent Space Reinforcement Learning

著者: Andrew Wagenmaker, Mitsuhiko Nakamoto, Yunchu Zhang, Seohong Park, Waleed Yagoub, Anusha Nagabandi, Abhishek Gupta, Sergey Levine · CoRL 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

DSRL は、入力ノイズを選ぶ小さな RL ポリシーを学習することで凍結された拡散ポリシーやフローポリシーを改善し、数十から数百エピソードで実機ロボットと π0 を適応させる。

重要な理由

チームは、動作している行動クローニングポリシーを、数十回の実エピソードと疎な成功報酬だけで、重みに手を触れずにその場で改善できる。これにより、ブラックボックスのモデルや API 経由でしか使えないモデルも適応可能になる。π0 の実験では DSRL は 8 GB の RTX 3070 で学習したが、π0 のリポジトリには LoRA ファインチューニングに少なくとも 22.5 GB が必要と記載されている。

課題

行動クローニングポリシー（現在では多くの場合拡散ポリシー）は自らの展開経験から学習できないため、性能の弱さを改善するには、通常、人間のデモンストレーションを追加で収集する必要がある。RL ならこれらを自律的に改善できるが、拡散ポリシーを RL でファインチューニングするには多段階のノイズ除去チェーンを通して誤差逆伝播を行う必要があり、計算負荷が高く数値的に不安定である。また標準的な RL は実機ロボットにとって必要なサンプル数が多すぎる。

提案手法

DSRL は、事前学習済みの拡散ポリシー（決定論的な DDIM またはフローサンプリングを使用）を環境の一部として扱い、初期ノイズを N(0, I) から抽出する代わりにそれを選択する別個の潜在ノイズポリシーを学習する。これにより適応は「潜在行動 MDP」上の通常の RL となり、ベースポリシーの重みではなく順伝播のみを必要とする。ノイズエイリアシング版の DSRL-NA は実際の行動でクリティックを学習し、それをノイズ空間のクリティックに蒸留するため、オフラインデータを利用でき、同じ行動に写像される多数のノイズ値を活用できる。

主な知見

  • 決定論的な DDIM やフローのサンプリングでは入力ノイズが行動を完全に決定するため、ノイズを選ぶことでポリシーを変更せずに操舵できる。
  • ベースポリシーは分布内の行動しか出力しないため、そのノイズ上で最適化することで、明示的なペナルティ項なしにオフライン RL の保守性が得られる。
  • 多くのノイズ値がほぼ同じ行動に写像される。行動空間のクリティックをノイズ空間のクリティックに蒸留することでこのエイリアシングを活用でき、ノイズ空間で素の SAC を用いる場合の約半分のサンプルで済んだ。
  • π0 の 1,600 次元のチャンク化された行動空間に対しては、1 つの 32 次元ノイズベクトルをチャンク全体で繰り返すだけで、ポリシーを操舵するのに十分な表現力がある。
  • ベースポリシーが何らかのタスク解決行動を示す限り、規模、学習期間、データ品質の異なるベースポリシーに対してステアリングは機能した。

主な結果

  • Robomimic と OpenAI Gym でのオンライン適応は、DPPO、IDQL、DQL、DIPO、QSM に比べて少なくとも 5-10 倍少ないサンプルで、ほぼ最適な性能に到達した。
  • 10 個の OGBench オフラインタスクでは、DSRL は約半数で最先端の性能を示し、ステアリングしないフローポリシーを大きく上回った。
  • 実機 Franka の単一タスク（キューブをボウルに入れる）：3,500 オンラインステップ（約 40 エピソード）で成功率が 20% からほぼ 100% に上昇した。RLPD は人間の介入の有無にかかわらずタスクを解けなかった。
  • Bridge V2 で学習したマルチタスクポリシーを用いた実機 WidowX 250：ピックアンドプレース、引き出しの閉鎖、ブロックの積み重ねで 100-150 エピソード以内に大幅な向上が見られたが、RLPD は学習できなかった。
  • LIBERO 上の π0：約 10,000 オンラインサンプルの後、成功率は約 20% から約 100% に向上した。ResiP と V-GPS では有意な改善は得られなかった。
  • 公開されている π0-DROID チェックポイントを用いた実機 Franka：トースターのタスクとスプーンを皿に置くタスクを 80 および 65 エピソード（約 11,000 および 10,000 ステップ）で改善し、著者はこれを π0 の初の実世界 RL ファインチューニングと呼んでいる。

制限事項

  • 探索はベースポリシーに制約される。すべての拡散ポリシーが操舵可能である保証はなく、行動分布が非常に狭いと選択肢が少なすぎる可能性がある（著者）。
  • 与えられたベースポリシーをどの程度改善できるかを事前に定量化する方法はまだない（著者）。
  • 他の RL 手法と同様に、模倣学習で必要とされる以上に、報酬信号、オンライン版ではオンラインのロールアウト、そして実世界でのリセットが必要である（著者）。
  • 実世界のタスクでは手作業で定義した 0-1 の成功報酬を用いており、評価は小規模である（WidowX ではタスクごとに 10-20 試行）。

分野への影響

CoRL 2025 最優秀論文賞 / 最優秀学生論文賞の最終候補に選ばれ、これまでの被引用数は 242。論文はプロジェクトウェブサイト（diffusion-steering.github.io）へのリンクを示し、公開されている π0 チェックポイントを基にしているが、ライセンスされた PMLR 版にはコードリポジトリの記載はない。

概要

人間のデモンストレーションから学習したロボット制御ポリシーは、多くの実世界の応用で目覚ましい成果を上げてきた。しかし、新しいオープンワールド環境でよくあるように初期性能が満足のいくものでない場合、こうした行動クローニング（BC）で学習したポリシーは、挙動をさらに改善するために追加の人間のデモンストレーションを収集する必要があるのが一般的であり、これは高価で時間のかかるプロセスである。これに対し、強化学習（RL）は自律的なオンラインでのポリシー改善を可能にすると期待されているが、通常必要とする膨大なサンプル数のため、それを達成できないことが多い。本研究では、効率的な実世界 RL によって BC で学習したポリシーの迅速な自律適応を可能にすることに向けて歩みを進める。特に最先端の BC 手法である拡散ポリシーに焦点を当て、強化学習による拡散ステアリング（DSRL）、すなわち BC ポリシーの潜在ノイズ空間上で RL を実行してポリシーを適応させる手法を提案する。DSRL はサンプル効率が非常に高く、BC ポリシーへのブラックボックスアクセスのみを必要とし、実世界での効果的な自律的ポリシー改善を可能にすることを示す。さらに DSRL は、拡散ポリシーのファインチューニングに伴う多くの課題を回避し、ベースポリシーの重みを一切変更する必要をなくす。我々はシミュレーションのベンチマーク、実世界のロボットタスク、事前学習済み汎用ポリシーの適応において DSRL を実証し、そのサンプル効率と実世界でのポリシー改善における有効な性能を示す。

リンク

  • arXiv 2506.15799: https://arxiv.org/abs/2506.15799
  • DOI 10.48550/arXiv.2506.15799: https://doi.org/10.48550/arXiv.2506.15799
  • PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/wagenmaker25a/wagenmaker25a.pdf
  • プロジェクトページ: https://diffusion-steering.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。