RL Token: Bootstrapping Online RL with Vision-Language-Action Models
Auteurs: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026
Licences
- Accès libre
- Article: CC BY 4.0
Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0.
En bref
RL Token (RLT) amorce du RL en ligne au-dessus d'un VLA préentraîné via un unique token de readout compact et une petite tête actor-critic — affinant des politiques de robots réels en quelques minutes à quelques heures, avec des gains de vitesse jusqu'à 3×.
Pourquoi c'est important
La plupart des articles sur les VLA se concentrent sur le préentraînement ou l'apprentissage par imitation. Le vrai problème lors du déploiement de VLA est le « dernier kilomètre » entre « ça marche à peu près » et « précision et vitesse prêtes pour la production ». RLT montre que cet écart peut être comblé en quelques minutes à quelques heures de pratique sur robot réel plutôt qu'en semaines de collecte de données supplémentaires, et ce sans mécanismes RL spécifiques à l'architecture (comme l'a nécessité π-RL). Cela fait du post-entraînement par RL une étape de déploiement crédible plutôt qu'une curiosité de recherche.
Problème
Les VLA préentraînés (RT-2, π₀, OpenVLA, π₀.5) peuvent exécuter des compétences de manipulation prêtes à l'emploi, mais ils manquent de la précision et de la vitesse exigées par les tâches du monde réel. Le fine-tuning RL en ligne existant des VLA est soit lent (complexité d'échantillonnage élevée), soit fragile (oubli catastrophique), soit spécifique à l'architecture (p. ex. π-RL ne fonctionne qu'avec des politiques flow-matching).
Solution proposée
Le VLA de base est adapté pour exposer un « RL token » compact — un readout qui résume les connaissances préentraînées pertinentes pour la tâche. Une petite tête actor-critic est entraînée au-dessus de ce token, le VLA restant gelé (ou ancré par KL). Le token fournit une interface stable et de faible dimension pour les méthodes de gradient de politique, découplant le fine-tuning par RL de l'architecture VLA sous-jacente.
Idées clés
- Un unique « token RL » placé en tête de l'entrée du VLA sert d'interface stable et compacte pour le RL en ligne — en évitant le problème de log-probabilité du flow matching que π-RL devait contourner.
- Le VLA de base reste figé (ou ancré par KL). Seule une petite tête acteur-critique est entraînée, ce qui maintient une faible complexité d'échantillonnage et empêche l'oubli catastrophique des compétences pré-entraînées.
- Le RL en ligne s'achève en quelques minutes à quelques heures de pratique sur robot réel — assez court pour que les ingénieurs itèrent physiquement sans passer par la simulation.
- Sur les tâches limitées par la précision (alignement de vis, insertion de connecteur Ethernet), RLT peut dépasser la vitesse de la téléopération humaine — la politique apprend une trajectoire plus fluide que celle qu'un humain peut produire manuellement.
- L'approche se généralise à quatre tâches hétérogènes sur robot réel sans réglage des hyperparamètres par tâche, ce qui suggère que l'interface à base de tokens est indépendante de la tâche.
Principaux résultats
- Jusqu'à 3× plus rapide sur la partie la plus difficile de quatre tâches de manipulation sur robot réel, en quelques minutes à quelques heures de pratique en RL en ligne.
- Sur au moins une tâche, RLT dépasse la vitesse de la téléopération humaine — la politique affinée exécute l'insertion de précision plus vite qu'un opérateur humain.
- L'efficacité d'échantillonnage est suffisante pour que les ingénieurs itèrent sur un robot réel plutôt que de dépendre d'un transfert depuis la simulation.
- La même recette à base de tokens fonctionne sur quatre tâches hétérogènes (vissage, pose de colliers de serrage, insertion de chargeur, insertion de connecteur Ethernet) sans réajustement par tâche.
Limites
- Évalué sur une seule plateforme robotique et quatre tâches de manipulation — la généralisation à la manipulation mobile / la locomotion / aux configurations multibras est laissée à des travaux futurs.
- Nécessite un VLA pré-entraîné performant comme base ; la méthode ne traite pas de la manière d'entraîner ce modèle de base au départ (là où se concentre encore l'essentiel du coût).
- Le RL en ligne sur matériel réel exige toujours un effort d'ingénierie (mécanismes de réinitialisation, contraintes de sécurité, façonnage de la récompense) — l'article ne prétend pas à une autonomie clé en main.
Impact sur le domaine
Établit une recette propre et indépendante du modèle pour l'étape de « post-entraînement » qui manquait à la pile VLA. Elle s'inscrit aux côtés de HIL-SERL (2024), RL-100 (2025) et π-RL (2025) dans l'ère naissante du « post-entraînement RL et déploiement » — prolongeant la tendance du fine-tuning en ligne efficace tout en supprimant les contraintes spécifiques à l'architecture. Sera probablement le modèle que les prochains articles VLA (π₀.5+, GR00T+) citeront pour décrire leur pipeline de déploiement.
Résumé
Les modèles vision-langage-action (VLA) peuvent apprendre à effectuer diverses compétences de manipulation « prêtes à l'emploi », mais atteindre la précision et la vitesse exigées par les tâches du monde réel nécessite un fine-tuning supplémentaire — par exemple via l'apprentissage par renforcement (RL). Nous présentons une méthode légère qui permet un fine-tuning RL en ligne à efficacité d'échantillonnage des VLAs pré-entraînés en n'utilisant que quelques heures de pratique dans le monde réel. Nous (1) adaptons le VLA pour exposer un « RL token », une représentation de lecture compacte qui préserve les connaissances pré-entraînées pertinentes pour la tâche tout en servant d'interface efficace pour le RL en ligne, et (2) entraînons une petite tête acteur-critique sur ce RL token pour affiner les actions, tout en ancrant la politique apprise au VLA. Le RL en ligne avec le RL token (RLT) permet de fine-tuner même de grands VLAs avec du RL rapidement et efficacement. Sur quatre tâches robotiques réelles (installation de vis, fixation d'attaches zip, insertion de chargeur et insertion d'Ethernet), RLT améliore la vitesse sur la partie la plus difficile de la tâche jusqu'à 3 fois et augmente significativement les taux de succès en quelques minutes à quelques heures de pratique. Il peut même dépasser la vitesse de la téléopération humaine sur certaines tâches.
Liens
- arXiv 2604.23073: https://arxiv.org/abs/2604.23073
- PDF: https://www.pi.website/download/rlt.pdf
- Page du projet: https://www.pi.website/research/rlt