Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Physical Intelligence 推出 RL Tokens:15 分鐘真實資料提升機器人精密操作

  • 來源: Physical Intelligence
  • 作者: Open Source Robotics
  • 發布日期: 2026-03-19
  • 類別: research

Physical Intelligence 推出 RL Tokens(RLT),讓以 VLA 為基礎的機器人只需 15 分鐘的真實世界強化學習,就能改善精密操作——將每項任務中最精密階段的速度提升最多 3 倍。

更正——2026 年 10 月 29 日。 本文先前的版本表示 RL Tokens 建構在 π0 之上並以 RLPD 訓練,並列出從論文圖表讀取的各任務吞吐量提升。該論文建構在 π0.6 之上並沿用 TD3;RLPD 只出現在一個基準方法中。以下結果現已依照論文及其頁面中以文字陳述的內容。

---

RL Tokens:連接 VLA 與精密操作

Physical Intelligence 發表了一篇新研究論文,介紹 RL Tokens(RLT),這是一種在視覺-語言-動作(VLA)模型之上加入高效線上強化學習的方法。這項技術解決了目前 VLA 模型的一個關鍵限制:它們雖然擅長跨任務泛化,卻難以達到真實世界組裝與插入任務所需的精度。

運作方式

RLT 在既有的 VLA 模型(論文中為 π0.6,即 π0 的後繼模型)上加入一個小型的編碼器-解碼器 Transformer 模組。這個模組將 VLA 的內部表示壓縮成單一精簡的「RL token」。接著再以樣本效率高的離線策略(off-policy)強化學習,在這個 token 上訓練小型的 actor 與 critic 網路,訓練期間 VLA 的權重保持凍結(論文也描述了可選擇將結果蒸餾回 VLA 的做法)。

這樣的設計是關鍵:完整的 VLA 模型保持凍結,保留其泛化能力,而輕量的強化學習頭部只需幾分鐘的真實世界互動,就能學會特定任務所需的精度。

結果

Physical Intelligence 在四項各自包含關鍵高精度階段的任務上測試 RLT:用螺絲起子鎖螺絲、綁束帶、插上充電器,以及插入乙太網路線。在這些任務中,RLT 將每項任務最精密階段的速度提升最多 3 倍,並提高了成功率。在乙太網路線插入任務上,訓練只花了兩小時、使用 15 分鐘的機器人資料,而最終策略有一半的試驗比資料集中任何一次遠端操作示範都快。

架構細節

RLT 方法使用: - 凍結的 VLA 骨幹(π0.6),負責視覺、語言理解與粗略動作生成 - 一個編碼器-解碼器 Transformer,從 VLA 的隱藏狀態產生壓縮的 RL token - 沿用 TD3 的離線策略 actor-critic 強化學習,以小型網路在 RL token 上運作 - 不需要獎勵工程——只使用簡單的二元成功/失敗訊號

這對精度為何重要

目前的 VLA 模型主要以示範資料訓練,這些資料捕捉的是「平均」行為,而非高精度公差任務所需的精確調整。RLT 讓機器人能透過反覆試誤發現這些精確策略,以學習而得的靈巧度補足 VLA 廣泛的任務理解能力。

為何重要

精密操作,例如插入纜線、對準螺絲、扣緊連接器,仍是實用機器人領域最難解決的問題。VLA 模型在泛化方面已有長足進展,但量產等級的組裝仍需要次毫米級的精度,而這是單靠示範資料無法教會的。RLT 顯示,結合基礎模型的理解能力與針對性的強化學習微調,可能是打造兼具通用性與精度之機器人的途徑,也是整個機器人社群一直在追求的突破。

重點

  • RL Tokens 將 VLA 的隱藏狀態壓縮成單一 token,以進行高效的強化學習,同時基礎模型保持凍結
  • 只需 15 分鐘的真實世界資料,就能將每項任務最精密階段的速度提升最多 3 倍
  • 凍結的 VLA 骨幹(π0.6)保留泛化能力,而強化學習頭部學習特定任務的精度
  • 經強化學習微調後,乙太網路線插入的執行速度超越人類
  • 此技術使用簡單的二元成功/失敗獎勵——不需要複雜的獎勵工程

開源觀點

雖然 RLT 本身並未開源,但這項技術已在公開論文中詳細說明,可以在 OpenVLA、Octo 或 LeRobot 的 Pi0-FAST 策略等開放 VLA 模型之上實作。其核心概念是凍結 VLA 骨幹,並在壓縮後的 token 上訓練輕量的 RL 頭,與架構無關,可能加速開源社群邁向精密真實世界操作能力的進程。

相關技術

  • VLA (Vision-Language-Action)
  • Reinforcement Learning
  • π0.6
  • Manipulation
  • Off-Policy RL
  • TD3
  • Transformer

相關論文

  • pi0: A Vision-Language-Action Flow Model for General Robot Control
  • πRL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models
  • HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning
  • RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning
  • OpenVLA: An Open-Source Vision-Language-Action Model
  • Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

相關專案

  • LeRobot
  • OpenVLA
  • Mobile ALOHA
  • SmolVLA

連結

  • 來源: https://www.pi.website/research/rlt

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。