Physical Intelligence 推出 RL Tokens:15 分鐘真實資料提升機器人精密操作
- 來源: Physical Intelligence
- 作者: Open Source Robotics
- 發布日期: 2026-03-19
- 類別: research
Physical Intelligence 推出 RL Tokens(RLT),讓以 VLA 為基礎的機器人只需 15 分鐘的真實世界強化學習,就能改善精密操作——將每項任務中最精密階段的速度提升最多 3 倍。
更正——2026 年 10 月 29 日。 本文先前的版本表示 RL Tokens 建構在 π0 之上並以 RLPD 訓練,並列出從論文圖表讀取的各任務吞吐量提升。該論文建構在 π0.6 之上並沿用 TD3;RLPD 只出現在一個基準方法中。以下結果現已依照論文及其頁面中以文字陳述的內容。
---
RL Tokens:連接 VLA 與精密操作
Physical Intelligence 發表了一篇新研究論文,介紹 RL Tokens(RLT),這是一種在視覺-語言-動作(VLA)模型之上加入高效線上強化學習的方法。這項技術解決了目前 VLA 模型的一個關鍵限制:它們雖然擅長跨任務泛化,卻難以達到真實世界組裝與插入任務所需的精度。
運作方式
RLT 在既有的 VLA 模型(論文中為 π0.6,即 π0 的後繼模型)上加入一個小型的編碼器-解碼器 Transformer 模組。這個模組將 VLA 的內部表示壓縮成單一精簡的「RL token」。接著再以樣本效率高的離線策略(off-policy)強化學習,在這個 token 上訓練小型的 actor 與 critic 網路,訓練期間 VLA 的權重保持凍結(論文也描述了可選擇將結果蒸餾回 VLA 的做法)。
這樣的設計是關鍵:完整的 VLA 模型保持凍結,保留其泛化能力,而輕量的強化學習頭部只需幾分鐘的真實世界互動,就能學會特定任務所需的精度。
結果
Physical Intelligence 在四項各自包含關鍵高精度階段的任務上測試 RLT:用螺絲起子鎖螺絲、綁束帶、插上充電器,以及插入乙太網路線。在這些任務中,RLT 將每項任務最精密階段的速度提升最多 3 倍,並提高了成功率。在乙太網路線插入任務上,訓練只花了兩小時、使用 15 分鐘的機器人資料,而最終策略有一半的試驗比資料集中任何一次遠端操作示範都快。
架構細節
RLT 方法使用: - 凍結的 VLA 骨幹(π0.6),負責視覺、語言理解與粗略動作生成 - 一個編碼器-解碼器 Transformer,從 VLA 的隱藏狀態產生壓縮的 RL token - 沿用 TD3 的離線策略 actor-critic 強化學習,以小型網路在 RL token 上運作 - 不需要獎勵工程——只使用簡單的二元成功/失敗訊號
這對精度為何重要
目前的 VLA 模型主要以示範資料訓練,這些資料捕捉的是「平均」行為,而非高精度公差任務所需的精確調整。RLT 讓機器人能透過反覆試誤發現這些精確策略,以學習而得的靈巧度補足 VLA 廣泛的任務理解能力。
為何重要
精密操作,例如插入纜線、對準螺絲、扣緊連接器,仍是實用機器人領域最難解決的問題。VLA 模型在泛化方面已有長足進展,但量產等級的組裝仍需要次毫米級的精度,而這是單靠示範資料無法教會的。RLT 顯示,結合基礎模型的理解能力與針對性的強化學習微調,可能是打造兼具通用性與精度之機器人的途徑,也是整個機器人社群一直在追求的突破。
重點
- RL Tokens 將 VLA 的隱藏狀態壓縮成單一 token,以進行高效的強化學習,同時基礎模型保持凍結
- 只需 15 分鐘的真實世界資料,就能將每項任務最精密階段的速度提升最多 3 倍
- 凍結的 VLA 骨幹(π0.6)保留泛化能力,而強化學習頭部學習特定任務的精度
- 經強化學習微調後,乙太網路線插入的執行速度超越人類
- 此技術使用簡單的二元成功/失敗獎勵——不需要複雜的獎勵工程
開源觀點
雖然 RLT 本身並未開源,但這項技術已在公開論文中詳細說明,可以在 OpenVLA、Octo 或 LeRobot 的 Pi0-FAST 策略等開放 VLA 模型之上實作。其核心概念是凍結 VLA 骨幹,並在壓縮後的 token 上訓練輕量的 RL 頭,與架構無關,可能加速開源社群邁向精密真實世界操作能力的進程。
相關技術
- VLA (Vision-Language-Action)
- Reinforcement Learning
- π0.6
- Manipulation
- Off-Policy RL
- TD3
- Transformer
相關論文
- pi0: A Vision-Language-Action Flow Model for General Robot Control
- πRL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models
- HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning
- RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning
- OpenVLA: An Open-Source Vision-Language-Action Model
- Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
相關專案
連結
- 來源: https://www.pi.website/research/rlt