Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

RL Token: Bootstrapping Online RL with Vision-Language-Action Models

作者: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026

CoRL 2026

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

RL Token(RLT)透過單一精簡的讀出 token 加上小型的演員-評論家頭,在預訓練的 VLA 之上啟動線上強化學習,在數分鐘到數小時內微調真實機器人策略,速度提升最高達 3×。

為何重要

多數 VLA 論文著重於預訓練或模仿學習。部署 VLA 的難題,在於從「大致可用」到「達到生產等級的精度與速度」之間的最後一哩落差。RLT 證明,這個落差可以在數分鐘到數小時的真實機器人練習內補上,而不需要數週的額外資料蒐集,而且不必為每種架構打造客製的強化學習機制(像 π-RL 那樣)。這讓強化學習後訓練成為可信的部署步驟,而不只是研究上的新奇事物。

問題

預訓練的 VLA(RT-2、π₀、OpenVLA、π₀.5)能開箱即用地執行操作技能,但缺乏真實世界任務所要求的精度與速度。現有的 VLA 線上強化學習微調不是很慢(樣本複雜度高)、很脆弱(災難性遺忘),就是只適用於特定架構(例如 π-RL 只適用於流匹配策略)。

提出的方法

調整基礎 VLA,使其提供一個精簡的「RL token」,也就是一個彙整與任務相關之預訓練知識的讀出表示。在這個 token 之上訓練一個小型的演員-評論家頭,同時讓 VLA 保持凍結(或以 KL 錨定)。這個 token 為策略梯度方法提供一個穩定、低維度的介面,讓強化學習微調與底層的 VLA 架構脫鉤。

關鍵見解

  • 在 VLA 的輸入前加上單一個「RL token」,就能作為線上強化學習穩定、精簡的介面,避開了 π-RL 必須設法繞過的流匹配對數機率問題。
  • 基礎 VLA 保持凍結(或以 KL 錨定)。只有小型的演員-評論家頭進行訓練,這讓樣本複雜度維持在低水準,並防止預訓練技能的災難性遺忘。
  • 線上強化學習在數分鐘到數小時的真實機器人練習內就能完成,短到工程師可以直接在實體上迭代,而不必進行模擬。
  • 在受精度限制的任務(對準螺絲、插入乙太網路線)上,RLT 能超越人類遠端操作的速度:策略學到的軌跡比人類手動能產生的更平順。
  • 這種方法不需針對個別任務調整超參數,就能泛化到四項異質的真實機器人任務,顯示以 token 為基礎的介面與任務無關。

主要結果

  • 在數分鐘到數小時的線上強化學習練習內,四項真實機器人操作任務中最困難部分的速度提升最高達 3×。
  • 在至少一項任務上,RLT 超越人類遠端操作的速度:微調後的策略執行精密插入比人類操作員更快。
  • 樣本效率高到工程師可以在真實機器人上迭代,而不必依賴模擬遷移。
  • 同一套以 token 為基礎的做法,不需針對個別任務重新調整,就能用於四項異質任務(安裝螺絲、綁束線帶、插入充電器、插入乙太網路線)。

限制

  • 僅在單一機器人平台上以四項操作任務評估,對移動操作/行走運動/多臂情境的泛化留待未來研究。
  • 需要一個強大的預訓練 VLA 作為基礎;這個方法並未處理一開始要如何訓練那個基礎模型(而這仍是大部分成本所在)。
  • 以真實硬體進行線上強化學習仍需要工程投入(重置機制、安全限制、獎勵設計),論文並未宣稱能一鍵達成自主。

對領域的影響

為 VLA 技術堆疊中一直缺少的「後訓練」步驟,確立了一套乾淨、與模型無關的做法。它與 HIL-SERL(2024)、RL-100(2025)和 π-RL(2025)同屬新興的強化學習後訓練與部署時代,延續了高效線上微調的趨勢,同時去除了特定架構的限制。後續的 VLA 論文(π₀.5+、GR00T+)在描述其部署流程時,很可能會引用它作為範本。

摘要

視覺-語言-動作(VLA)模型能「開箱即用」地學會執行多樣的操作技能,但要達到真實世界任務所要求的精度與速度,還需要進一步微調,例如透過強化學習(RL)。我們提出一種輕量方法,只需幾小時的真實世界練習,就能對預訓練的 VLA 進行樣本高效的線上強化學習微調。我們(1)調整 VLA 使其提供一個「RL token」,這是一種精簡的讀出表示,既保留與任務相關的預訓練知識,又作為線上強化學習的高效介面;(2)在這個 RL token 上訓練一個小型的演員-評論家頭來精修動作,同時將學到的策略錨定在 VLA 上。搭配 RL token 的線上強化學習(RLT),讓即使是大型的 VLA 也能快速、高效地以強化學習進行微調。在四項真實機器人任務(安裝螺絲、綁束線帶、插入充電器與插入乙太網路線)中,RLT 將任務最困難部分的速度提升最高達 3 倍,並在數分鐘到數小時的練習內大幅提高成功率。在部分任務上,它甚至能超越人類遠端操作的速度。

連結

  • arXiv 2604.23073: https://arxiv.org/abs/2604.23073
  • PDF: https://www.pi.website/download/rlt.pdf
  • 專案頁面: https://www.pi.website/research/rlt

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。