RL Token: Bootstrapping Online RL with Vision-Language-Action Models
作者: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文,按其 CC BY 4.0 许可协议使用。
一句话总结
RL Token(RLT)通过一个紧凑的readout token加上一个小型actor-critic头,在预训练VLA之上启动在线RL——可在数分钟到数小时内对真实机器人策略进行微调,速度提升最高可达3倍。
为何重要
大多数VLA论文聚焦于预训练或模仿学习。部署VLA真正困难的问题是“勉强能跑”和“生产级精度与速度”之间的最后一公里。RLT表明这一差距可以通过数分钟到数小时的真实机器人练习来弥合,而不需要数周的额外数据采集,而且不需要针对每种架构定制RL机制(像π-RL那样)。这使得RL后训练成为可信的部署步骤,而非研究上的新奇尝试。
问题
预训练VLA(RT-2、π₀、OpenVLA、π₀.5)可以开箱即用地执行操作技能,但缺乏现实任务所需的精度和速度。现有的VLA在线RL微调要么慢(样本复杂度高),要么脆弱(灾难性遗忘),要么受限于特定架构(例如π-RL仅适用于flow-matching策略)。
提出的方法
调整基础VLA以暴露一个紧凑的“RL token”——一个汇总任务相关预训练知识的readout。在该token之上训练一个小型actor-critic头,同时保持VLA冻结(或KL锚定)。该token为策略梯度方法提供了稳定的低维接口,使RL微调与底层VLA架构解耦。
关键见解
- 在VLA输入前添加的单个“RL token”,可作为在线强化学习稳定而紧凑的接口——绕开了π-RL不得不设法规避的流匹配对数概率问题。
- 基础VLA保持冻结(或通过KL锚定)。只训练一个小型actor-critic头,从而保持较低的样本复杂度,并防止对预训练技能的灾难性遗忘。
- 在线强化学习只需在真实机器人上练习几分钟到几小时即可完成——时间短到工程师无需仿真就能在实物上迭代。
- 在受精度制约的任务(螺丝对准、以太网插头插入)上,RLT的速度可超过人类遥操作——策略学到的轨迹比人类手动操作更平滑。
- 该方法可推广到四项异构的真实机器人任务,无需针对每项任务调整超参数,表明基于token的接口与任务无关。
主要结果
- 仅需几分钟到几小时的在线强化学习练习,即可在四项真实机器人操作任务中最困难的环节上实现最高3×的提速。
- 至少在一项任务上,RLT超越了人类遥操作的速度——微调后的策略完成精密插入的速度比人类操作员更快。
- 样本效率足够高,工程师可以直接在真实机器人上迭代,而无需依赖仿真迁移。
- 同一套基于token的方法适用于四项异构任务(螺丝安装、扎带紧固、充电器插入、以太网插头插入),无需针对每项任务重新调参。
局限
- 仅在单一机器人平台的四项操作任务上进行了评估——向移动操作 / 移动运动 / 多臂场景的泛化留待未来工作。
- 需要一个强大的预训练VLA作为基础;该方法并未涉及最初如何训练这一基础模型(而大部分成本仍在于此)。
- 在真实硬件上进行在线强化学习仍需投入工程工作(复位机制、安全约束、奖励塑形)——论文并未声称实现了一键式自主。
对领域的影响
为VLA技术栈中一直缺失的“后训练”步骤建立了一种干净、与模型无关的方案。它与HIL-SERL(2024)、RL-100(2025)和π-RL(2025)一起处于正在兴起的“RL后训练与部署”时代——延续了高效在线微调的趋势,同时去除了架构特定的限制。后续的VLA论文(π₀.5+、GR00T+)在描述其部署流水线时很可能会以此为模板。
摘要
视觉-语言-动作(VLA)模型可以"开箱即用"地学习执行多样化的操控技能,但要达到现实世界任务所需的精度和速度,仍需要进一步的微调——例如通过强化学习(RL)。我们提出了一种轻量级方法,仅需几小时的真实世界实践,便能对预训练的 VLA 进行样本高效的在线 RL 微调。我们 (1) 将 VLA 调整为暴露一个"RL token",即一种紧凑的读出表示,它在保留任务相关预训练知识的同时,作为在线 RL 的高效接口;(2) 在该 RL token 上训练一个小型 actor-critic 头来精细化动作,同时将学习到的策略锚定到 VLA。带有 RL token 的在线 RL(RLT)使得即便是大型 VLA 也能快速高效地通过 RL 微调。在四项真实机器人任务(螺丝安装、扎带紧固、充电器插入和以太网插入)上,RLT 将任务最难部分的速度提升了最多 3 倍,并在数分钟到几小时的练习内显著提高了成功率。在某些任务上,它甚至可以超越人类遥操作的速度。
链接
- arXiv 2604.23073: https://arxiv.org/abs/2604.23073
- PDF: https://www.pi.website/download/rlt.pdf
- 项目主页: https://www.pi.website/research/rlt