RL Token: Bootstrapping Online RL with Vision-Language-Action Models
Autores: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026
Licencias
- Acceso abierto
- Artículo: CC BY 4.0
Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0.
En resumen
RL Token (RLT) arranca RL online sobre un VLA preentrenado mediante un único token de readout compacto más una pequeña cabeza actor-crítico — ajustando políticas de robots reales en minutos u horas con ganancias de velocidad de hasta 3×.
Por qué importa
La mayoría de los artículos sobre VLAs se centran en el preentrenamiento o el aprendizaje por imitación. El problema difícil al desplegar VLAs es la última milla entre «más o menos funciona» y «precisión y velocidad listas para producción». RLT muestra que esta brecha puede cerrarse en minutos u horas de práctica con robot real en lugar de semanas de recolección adicional de datos, y sin maquinaria RL específica por arquitectura (como necesitaba π-RL). Esto convierte el post-entrenamiento con RL en un paso de despliegue creíble y no en una curiosidad de investigación.
Problema
Los VLAs preentrenados (RT-2, π₀, OpenVLA, π₀.5) pueden ejecutar habilidades de manipulación de fábrica, pero carecen de la precisión y velocidad que exigen las tareas del mundo real. El ajuste fino online por RL existente sobre VLAs es lento (alta complejidad muestral), frágil (olvido catastrófico) o específico de la arquitectura (p. ej., π-RL solo funciona con políticas de flow-matching).
Solución propuesta
Se adapta el VLA base para exponer un compacto «RL token» — un readout que resume el conocimiento preentrenado relevante para la tarea. Se entrena una pequeña cabeza actor-crítico sobre este token manteniendo el VLA congelado (o anclado por KL). El token proporciona una interfaz estable y de baja dimensión para métodos de gradiente de política, desacoplando el ajuste fino por RL de la arquitectura VLA subyacente.
Ideas clave
- Un único «token de RL» antepuesto a la entrada del VLA actúa como interfaz estable y compacta para el RL en línea — y evita el problema de la log-probabilidad en flow matching que π-RL tuvo que sortear.
- El VLA base permanece congelado (o anclado mediante KL). Solo se entrena una pequeña cabeza actor-crítico, lo que mantiene baja la complejidad muestral y evita el olvido catastrófico de las habilidades preentrenadas.
- El RL en línea se completa en entre minutos y pocas horas de práctica con el robot real — lo bastante breve para que los ingenieros iteren físicamente sin simular.
- En tareas limitadas por la precisión (alineación de tornillos, inserción de conectores Ethernet), RLT puede superar la velocidad de la teleoperación humana — la política aprende una trayectoria más suave que la que una persona puede producir manualmente.
- El enfoque generaliza a cuatro tareas heterogéneas con robots reales sin ajustar hiperparámetros para cada tarea, lo que sugiere que la interfaz basada en tokens es independiente de la tarea.
Resultados principales
- Hasta 3× más velocidad en la parte más difícil de cuatro tareas de manipulación con robots reales, con entre unos minutos y pocas horas de práctica de RL en línea.
- En al menos una tarea, RLT supera la velocidad de la teleoperación humana — la política ajustada ejecuta la inserción de precisión más rápido que un operador humano.
- La eficiencia muestral es lo bastante alta como para que los ingenieros iteren en un robot real en lugar de depender de la transferencia desde simulación.
- La misma receta basada en tokens funciona en cuatro tareas heterogéneas (instalación de tornillos, colocación de bridas, inserción de cargadores, inserción de conectores Ethernet) sin reajustes por tarea.
Limitaciones
- Evaluado en una sola plataforma robótica con cuatro tareas de manipulación — la generalización a manipulación móvil / locomoción / configuraciones multibrazo queda para trabajos futuros.
- Requiere un VLA preentrenado sólido como base; el método no aborda cómo entrenar ese modelo base en primer lugar (que es donde sigue concentrándose la mayor parte del coste).
- El RL en línea con hardware real sigue exigiendo esfuerzo de ingeniería (mecanismos de reinicio, restricciones de seguridad, diseño de recompensas) — el artículo no promete autonomía con solo pulsar un botón.
Impacto en el campo
Establece una receta limpia y agnóstica al modelo para el paso de «post-entrenamiento» que faltaba en la pila VLA. Se sitúa junto a HIL-SERL (2024), RL-100 (2025) y π-RL (2025) en la naciente era del «post-entrenamiento por RL y despliegue» — extendiendo la tendencia del ajuste fino online eficiente al tiempo que elimina las restricciones específicas de arquitectura. Probablemente será la plantilla que los siguientes artículos de VLA (π₀.5+, GR00T+) citen al describir su tubería de despliegue.
Resumen
Los modelos de visión-lenguaje-acción (VLA) pueden aprender a realizar diversas habilidades de manipulación "listos para usar", pero alcanzar la precisión y velocidad que exigen las tareas del mundo real requiere un ajuste fino adicional, por ejemplo, mediante aprendizaje por refuerzo (RL). Presentamos un método ligero que permite un ajuste fino en línea de RL eficiente en muestras de VLAs preentrenados utilizando apenas unas pocas horas de práctica en el mundo real. Nosotros (1) adaptamos el VLA para exponer un "token de RL", una representación de lectura compacta que preserva el conocimiento preentrenado relevante para la tarea mientras sirve como una interfaz eficiente para el RL en línea, y (2) entrenamos un pequeño cabezal actor-crítico sobre este token de RL para refinar las acciones, anclando al mismo tiempo la política aprendida al VLA. El RL en línea con el token de RL (RLT) hace posible ajustar finamente incluso VLAs grandes con RL de forma rápida y eficiente. En cuatro tareas reales de robots (instalación de tornillos, ajuste de bridas, inserción de cargadores e inserción de Ethernet), RLT mejora la velocidad en la parte más difícil de la tarea hasta 3 veces y aumenta significativamente las tasas de éxito en cuestión de minutos a unas pocas horas de práctica. Incluso puede superar la velocidad de la teleoperación humana en algunas de las tareas.
Enlaces
- arXiv 2604.23073: https://arxiv.org/abs/2604.23073
- PDF: https://www.pi.website/download/rlt.pdf
- Página del proyecto: https://www.pi.website/research/rlt