Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

RL Token: Bootstrapping Online RL with Vision-Language-Action Models

Autores: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026

CoRL 2026

Licenças

  • Acesso aberto
  • Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0.

Em resumo

O RL Token (RLT) inicializa RL online sobre um VLA pré-treinado por meio de um único token de readout compacto mais uma pequena cabeça actor-critic — ajustando políticas de robôs reais em minutos a horas, com ganhos de velocidade de até 3×.

Por que importa

A maioria dos artigos sobre VLA foca em pré-treinamento ou aprendizado por imitação. O problema difícil ao implantar VLAs é a última milha entre "meio que funciona" e "precisão e velocidade prontas para produção". O RLT mostra que essa lacuna pode ser fechada em minutos a horas de prática com robô real, em vez de semanas de coleta adicional de dados, e sem maquinaria de RL específica por arquitetura (como o π-RL exigia). Isso transforma o pós-treinamento por RL em um passo de implantação confiável, não em uma curiosidade de pesquisa.

Problema

VLAs pré-treinados (RT-2, π₀, OpenVLA, π₀.5) conseguem executar habilidades de manipulação de imediato, mas não têm a precisão e a velocidade exigidas por tarefas do mundo real. O ajuste fino online por RL existente em VLAs é lento (alta complexidade amostral), frágil (esquecimento catastrófico) ou específico da arquitetura (p. ex., π-RL só funciona com políticas flow-matching).

Solução proposta

Adapta-se o VLA base para expor um "RL token" compacto — um readout que resume o conhecimento pré-treinado relevante para a tarefa. Treina-se uma pequena cabeça actor-critic sobre esse token mantendo o VLA congelado (ou ancorado por KL). O token fornece uma interface estável e de baixa dimensão para métodos de gradiente de política, desacoplando o ajuste fino por RL da arquitetura VLA subjacente.

Principais ideias

  • Um único "token de RL" adicionado no início da entrada do VLA funciona como uma interface estável e compacta para RL online — contornando o problema de log-probabilidade do flow matching que o π-RL precisou driblar.
  • O VLA base permanece congelado (ou ancorado por KL). Apenas uma pequena cabeça ator-crítico é treinada, o que mantém baixa a complexidade amostral e evita o esquecimento catastrófico das habilidades pré-treinadas.
  • O RL online é concluído em minutos a poucas horas de prática com o robô real — tempo curto o bastante para que engenheiros iterem fisicamente sem simular.
  • Em tarefas limitadas pela precisão (alinhamento de parafusos, inserção de conector Ethernet), o RLT pode superar a velocidade da teleoperação humana — a política aprende uma trajetória mais suave do que um humano consegue produzir manualmente.
  • A abordagem generaliza para quatro tarefas heterogêneas com robôs reais sem ajuste de hiperparâmetros por tarefa, o que sugere que a interface baseada em tokens é agnóstica à tarefa.

Principais resultados

  • Aceleração de até 3× na parte mais difícil de quatro tarefas de manipulação com robôs reais, em minutos a poucas horas de prática de RL online.
  • Em pelo menos uma tarefa, o RLT supera a velocidade da teleoperação humana — a política ajustada executa a inserção de precisão mais rápido que um operador humano.
  • A eficiência amostral é alta o suficiente para que engenheiros iterem em um robô real em vez de depender de transferência da simulação.
  • A mesma receita baseada em tokens funciona em quatro tarefas heterogêneas (instalação de parafusos, fixação com abraçadeiras, inserção de carregador, inserção de conector Ethernet) sem reajuste por tarefa.

Limitações

  • Avaliado em uma única plataforma robótica com quatro tarefas de manipulação — a generalização para manipulação móvel / locomoção / configurações com múltiplos braços fica para trabalhos futuros.
  • Requer um VLA pré-treinado robusto como base; o método não trata de como treinar esse modelo base, para começo de conversa (que é onde ainda está a maior parte do custo).
  • RL online com hardware real ainda exige esforço de engenharia (mecanismos de reset, restrições de segurança, modelagem de recompensa) — o artigo não promete autonomia ao apertar de um botão.

Impacto na área

Estabelece uma receita limpa e independente do modelo para a etapa de "pós-treinamento" que faltava no stack VLA. Posiciona-se ao lado de HIL-SERL (2024), RL-100 (2025) e π-RL (2025) na emergente era de "pós-treinamento por RL e implantação" — estendendo a tendência de ajuste fino online eficiente enquanto remove as restrições específicas de arquitetura. Provavelmente será o modelo que os próximos artigos de VLA (π₀.5+, GR00T+) citarão ao descrever seus pipelines de implantação.

Resumo

Os modelos visão-linguagem-ação (VLA) podem aprender a realizar diversas habilidades de manipulação "prontos para uso", mas alcançar a precisão e a velocidade que tarefas do mundo real exigem requer um ajuste fino adicional — por exemplo, via aprendizado por reforço (RL). Apresentamos um método leve que permite o ajuste fino online de RL eficiente em amostras de VLAs pré-treinados usando apenas algumas horas de prática no mundo real. Nós (1) adaptamos o VLA para expor um "RL token", uma representação de leitura compacta que preserva o conhecimento pré-treinado relevante para a tarefa enquanto serve como uma interface eficiente para o RL online, e (2) treinamos uma pequena cabeça ator-crítica sobre esse RL token para refinar as ações, ancorando ao mesmo tempo a política aprendida ao VLA. O RL online com o RL token (RLT) torna possível ajustar finamente até VLAs grandes com RL de forma rápida e eficiente. Em quatro tarefas reais de robôs (instalação de parafusos, fixação de abraçadeiras, inserção de carregadores e inserção de Ethernet), o RLT melhora a velocidade na parte mais difícil da tarefa em até 3 vezes e eleva significativamente as taxas de sucesso em minutos a algumas horas de prática. Em algumas tarefas, ele pode até superar a velocidade da teleoperação humana.

Links

  • arXiv 2604.23073: https://arxiv.org/abs/2604.23073
  • PDF: https://www.pi.website/download/rlt.pdf
  • Página do projeto: https://www.pi.website/research/rlt

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.