Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

RL Token: Bootstrapping Online RL with Vision-Language-Action Models

作者: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026

CoRL 2026

许可协议

  • 开放获取
  • 论文: CC BY 4.0

以下内容均依据论文全文,按其 CC BY 4.0 许可协议使用。

一句话总结

RL Token(RLT)通过一个紧凑的readout token加上一个小型actor-critic头,在预训练VLA之上启动在线RL——可在数分钟到数小时内对真实机器人策略进行微调,速度提升最高可达3倍。

为何重要

大多数VLA论文聚焦于预训练或模仿学习。部署VLA真正困难的问题是“勉强能跑”和“生产级精度与速度”之间的最后一公里。RLT表明这一差距可以通过数分钟到数小时的真实机器人练习来弥合,而不需要数周的额外数据采集,而且不需要针对每种架构定制RL机制(像π-RL那样)。这使得RL后训练成为可信的部署步骤,而非研究上的新奇尝试。

问题

预训练VLA(RT-2、π₀、OpenVLA、π₀.5)可以开箱即用地执行操作技能,但缺乏现实任务所需的精度和速度。现有的VLA在线RL微调要么慢(样本复杂度高),要么脆弱(灾难性遗忘),要么受限于特定架构(例如π-RL仅适用于flow-matching策略)。

提出的方法

调整基础VLA以暴露一个紧凑的“RL token”——一个汇总任务相关预训练知识的readout。在该token之上训练一个小型actor-critic头,同时保持VLA冻结(或KL锚定)。该token为策略梯度方法提供了稳定的低维接口,使RL微调与底层VLA架构解耦。

关键见解

  • 在VLA输入前添加的单个“RL token”,可作为在线强化学习稳定而紧凑的接口——绕开了π-RL不得不设法规避的流匹配对数概率问题。
  • 基础VLA保持冻结(或通过KL锚定)。只训练一个小型actor-critic头,从而保持较低的样本复杂度,并防止对预训练技能的灾难性遗忘。
  • 在线强化学习只需在真实机器人上练习几分钟到几小时即可完成——时间短到工程师无需仿真就能在实物上迭代。
  • 在受精度制约的任务(螺丝对准、以太网插头插入)上,RLT的速度可超过人类遥操作——策略学到的轨迹比人类手动操作更平滑。
  • 该方法可推广到四项异构的真实机器人任务,无需针对每项任务调整超参数,表明基于token的接口与任务无关。

主要结果

  • 仅需几分钟到几小时的在线强化学习练习,即可在四项真实机器人操作任务中最困难的环节上实现最高3×的提速。
  • 至少在一项任务上,RLT超越了人类遥操作的速度——微调后的策略完成精密插入的速度比人类操作员更快。
  • 样本效率足够高,工程师可以直接在真实机器人上迭代,而无需依赖仿真迁移。
  • 同一套基于token的方法适用于四项异构任务(螺丝安装、扎带紧固、充电器插入、以太网插头插入),无需针对每项任务重新调参。

局限

  • 仅在单一机器人平台的四项操作任务上进行了评估——向移动操作 / 移动运动 / 多臂场景的泛化留待未来工作。
  • 需要一个强大的预训练VLA作为基础;该方法并未涉及最初如何训练这一基础模型(而大部分成本仍在于此)。
  • 在真实硬件上进行在线强化学习仍需投入工程工作(复位机制、安全约束、奖励塑形)——论文并未声称实现了一键式自主。

对领域的影响

为VLA技术栈中一直缺失的“后训练”步骤建立了一种干净、与模型无关的方案。它与HIL-SERL(2024)、RL-100(2025)和π-RL(2025)一起处于正在兴起的“RL后训练与部署”时代——延续了高效在线微调的趋势,同时去除了架构特定的限制。后续的VLA论文(π₀.5+、GR00T+)在描述其部署流水线时很可能会以此为模板。

摘要

视觉-语言-动作(VLA)模型可以"开箱即用"地学习执行多样化的操控技能,但要达到现实世界任务所需的精度和速度,仍需要进一步的微调——例如通过强化学习(RL)。我们提出了一种轻量级方法,仅需几小时的真实世界实践,便能对预训练的 VLA 进行样本高效的在线 RL 微调。我们 (1) 将 VLA 调整为暴露一个"RL token",即一种紧凑的读出表示,它在保留任务相关预训练知识的同时,作为在线 RL 的高效接口;(2) 在该 RL token 上训练一个小型 actor-critic 头来精细化动作,同时将学习到的策略锚定到 VLA。带有 RL token 的在线 RL(RLT)使得即便是大型 VLA 也能快速高效地通过 RL 微调。在四项真实机器人任务(螺丝安装、扎带紧固、充电器插入和以太网插入)上,RLT 将任务最难部分的速度提升了最多 3 倍,并在数分钟到几小时的练习内显著提高了成功率。在某些任务上,它甚至可以超越人类遥操作的速度。

链接

  • arXiv 2604.23073: https://arxiv.org/abs/2604.23073
  • PDF: https://www.pi.website/download/rlt.pdf
  • 项目主页: https://www.pi.website/research/rlt

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。