RL Token: Bootstrapping Online RL with Vision-Language-Action Models
著者: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026
ライセンス
- オープンアクセス
- 論文: CC BY 4.0
以下の内容はすべて、論文のライセンス(CC BY 4.0)に従い論文全文に基づいています。
要約
RL Token (RLT) は、単一のコンパクトなreadout tokenと小さなactor-criticヘッドにより、事前学習済みVLA上でオンラインRLをブートストラップする。実機ロボットのポリシーを数分から数時間で微調整し、最大3倍の速度向上を実現。
重要な理由
ほとんどのVLA論文は事前学習や模倣学習に焦点を当てている。VLAを展開する上で本当に難しい問題は、「なんとなく動く」と「実運用レベルの精度と速度」の間の最後の数歩である。RLTは、このギャップが数週間の追加データ収集ではなく、実機ロボットでの数分から数時間の練習で埋められること、しかもπ-RLが必要としたようなアーキテクチャ固有のRL機構なしに実現できることを示す。これによりRL事後学習は研究上の珍奇な手法ではなく、信頼できる展開ステップとなる。
課題
事前学習済みVLA(RT-2、π₀、OpenVLA、π₀.5)は操作スキルをすぐに実行できるが、実世界のタスクが要求する精度と速度に欠ける。既存のVLAオンラインRLファインチューニングは、遅い(高サンプル複雑度)、脆い(破滅的忘却)、あるいはアーキテクチャ固有(例:π-RLはflow-matchingポリシーでのみ動作)のいずれかである。
提案手法
ベースVLAを適応させ、コンパクトな「RL token」——タスクに関連する事前学習知識を要約するreadout——を露出させる。VLAを凍結(またはKLアンカー)したまま、このtoken上で小さなactor-criticヘッドを学習する。このtokenは方策勾配法に対して安定した低次元インターフェースを提供し、RLファインチューニングを基礎となるVLAアーキテクチャから切り離す。
主な知見
- VLAの入力の先頭に付加される単一の「RLトークン」が、オンラインRLのための安定したコンパクトなインターフェースとして機能する — π-RLが回避策を講じる必要があったフローマッチングの対数確率の問題を回避する。
- ベースのVLAは凍結(またはKLでアンカー)されたままである。小さなactor-criticヘッドのみを学習するため、サンプル複雑度が低く抑えられ、事前学習済みスキルの破滅的忘却を防ぐ。
- オンラインRLは実ロボットでの数分から数時間の練習で完了する — エンジニアがシミュレーションなしで物理的に反復できるほど短い。
- 精度がボトルネックとなるタスク(ねじの位置合わせ、Ethernetの挿入)では、RLTは人間のテレオペレーションの速度を上回ることができる — ポリシーは人間が手動で生成できるよりも滑らかな軌道を学習する。
- このアプローチはタスクごとのハイパーパラメータ調整なしに4つの異種の実ロボットタスクにわたって汎化しており、トークンベースのインターフェースがタスク非依存であることを示唆している。
主な結果
- オンラインRLによる数分から数時間の練習で、4つの実ロボットマニピュレーションタスクの最も難しい部分において最大3×の高速化。
- 少なくとも1つのタスクで、RLTは人間のテレオペレーションの速度を上回る — ファインチューニングされたポリシーは、人間のオペレーターよりも速く精密挿入を実行する。
- サンプル効率が十分に高いため、エンジニアはシミュレーションからの転移に頼るのではなく、実ロボット上で反復できる。
- 同じトークンベースのレシピが、タスクごとの再調整なしに4つの異種タスク(ねじの取り付け、結束バンドの締結、充電器の挿入、Ethernetの挿入)で機能する。
制限事項
- 単一のロボットプラットフォーム上で4つのマニピュレーションタスクにより評価されている — モバイルマニピュレーション/ロコモーション/マルチアーム環境への汎化は今後の課題とされている。
- ベースとして強力な事前学習済みVLAが必要であり、そもそもそのベースモデルをどう学習するかには取り組んでいない(コストの大部分は依然としてそこにある)。
- 実機でのオンラインRLには依然としてエンジニアリング上の労力(リセット機構、安全制約、報酬設計)が必要である — 本論文はボタン一つで完結する自律性を主張していない。
分野への影響
VLAスタックに欠けていた「事後学習」ステップに対する、モデル非依存でクリーンなレシピを確立する。HIL-SERL(2024)、RL-100(2025)、π-RL(2025)と並んで、台頭しつつある「RL事後学習と展開」の時代に位置づけられる——効率的なオンライン微調整のトレンドを継承しつつ、アーキテクチャ固有の制約を取り除く。今後のVLA論文(π₀.5+、GR00T+)が展開パイプラインを記述する際に引用するテンプレートとなる可能性が高い。
概要
視覚-言語-行動(VLA)モデルは「そのままで」多様な操作スキルを学習できますが、現実世界のタスクが要求する精度と速度を達成するには、さらなるファインチューニング(例えば強化学習(RL)による)が必要です。本研究では、わずか数時間の実世界での実践により、事前学習済みVLAのサンプル効率的なオンラインRLファインチューニングを可能にする軽量な手法を提案します。我々は (1) タスク関連の事前学習知識を保持しつつオンラインRLの効率的なインターフェースとして機能する、コンパクトな読み出し表現「RLトークン」を露出するようVLAを適応させ、(2) このRLトークン上に小さなアクター・クリティックヘッドを訓練して、学習されたポリシーをVLAに固定しながらアクションを洗練させます。RLトークンを用いたオンラインRL(RLT)により、大規模なVLAでさえも迅速かつ効率的にRLでファインチューニングすることが可能になります。4つの実ロボットタスク(ねじ取り付け、結束バンド固定、充電器挿入、イーサネット挿入)において、RLTはタスクの最も難しい部分の速度を最大3倍向上させ、数分から数時間の練習で成功率を大幅に高めます。一部のタスクでは、人間の遠隔操作の速度をも上回ることができます。
リンク
- arXiv 2604.23073: https://arxiv.org/abs/2604.23073
- PDF: https://www.pi.website/download/rlt.pdf
- プロジェクトページ: https://www.pi.website/research/rlt