RL Token: Bootstrapping Online RL with Vision-Language-Action Models
Autori: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.
In breve
RL Token (RLT) avvia l'RL online sopra un VLA preaddestrato tramite un unico token di lettura compatto più una piccola testa actor-critic: fine-tuning di policy su robot reali in minuti od ore, con guadagni di velocità fino a 3×.
Perché è importante
La maggior parte degli articoli sui VLA si concentra sul preaddestramento o sull'apprendimento per imitazione. Il problema difficile nell'impiego dei VLA è l'ultimo tratto, il divario tra "più o meno funziona" e "precisione e velocità da produzione". RLT mostra che questo divario si può colmare in minuti od ore di pratica su robot reali anziché in settimane di raccolta dati aggiuntiva, e lo fa senza un'apposita infrastruttura RL per ogni architettura (come ha dovuto fare π-RL). Questo rende il post-addestramento con RL un passo di impiego credibile anziché una curiosità di ricerca.
Problema
I VLA preaddestrati (RT-2, π₀, OpenVLA, π₀.5) possono eseguire abilità di manipolazione così come sono, ma non hanno la precisione e la velocità richieste dai compiti reali. Il fine-tuning con RL online dei VLA oggi esistente è lento (alta complessità campionaria), fragile (oblio catastrofico) oppure specifico per l'architettura (ad esempio π-RL funziona solo con policy di flow matching).
Soluzione proposta
Adattare il VLA di base perché esponga un "RL token" compatto, una lettura che riassume la conoscenza preaddestrata rilevante per il compito. Addestrare una piccola testa actor-critic sopra questo token mantenendo il VLA congelato (o ancorato tramite KL). Il token fornisce un'interfaccia stabile e a bassa dimensionalità per i metodi policy gradient, disaccoppiando il fine-tuning con RL dall'architettura del VLA sottostante.
Idee chiave
- Un singolo "RL token" anteposto all'input del VLA funge da interfaccia stabile e compatta per l'RL online, aggirando il problema della log-probabilità nel flow matching che π-RL ha dovuto risolvere con espedienti.
- Il VLA di base resta congelato (o ancorato tramite KL). Si addestra solo una piccola testa actor-critic, il che mantiene bassa la complessità campionaria e previene l'oblio catastrofico delle abilità preaddestrate.
- L'RL online si conclude in pochi minuti o poche ore di pratica su robot reali: un tempo abbastanza breve perché gli ingegneri possano iterare fisicamente senza simulare.
- Nei compiti limitati dalla precisione (allineamento delle viti, inserimento del cavo Ethernet) RLT può superare la velocità della teleoperazione umana: la policy impara una traiettoria più fluida di quella che un essere umano riesce a produrre manualmente.
- L'approccio generalizza su quattro compiti eterogenei con robot reali senza taratura degli iperparametri per compito, il che suggerisce che l'interfaccia basata su token sia indipendente dal compito.
Risultati principali
- Velocità fino a 3× superiore nella parte più difficile di quattro compiti di manipolazione con robot reali, nell'arco di pochi minuti o poche ore di pratica con RL online.
- In almeno un compito RLT supera la velocità della teleoperazione umana: la policy sottoposta a fine-tuning esegue l'inserimento di precisione più rapidamente di un operatore umano.
- L'efficienza campionaria è abbastanza alta da permettere agli ingegneri di iterare su un robot reale invece di affidarsi al trasferimento dalla simulazione.
- La stessa ricetta basata su token funziona su quattro compiti eterogenei (installazione di viti, chiusura di fascette, inserimento di un caricatore, inserimento di un cavo Ethernet) senza ritaratura per compito.
Limiti
- Valutato su un'unica piattaforma robotica con quattro compiti di manipolazione: la generalizzazione a manipolazione mobile, locomozione o configurazioni a più bracci è lasciata a lavori futuri.
- Richiede come base un VLA preaddestrato solido; il metodo non affronta come addestrare quel modello di base in primo luogo (ed è lì che si concentra ancora la maggior parte del costo).
- L'RL online con hardware reale richiede comunque un lavoro di ingegneria (meccanismi di reset, vincoli di sicurezza, reward shaping): l'articolo non promette un'autonomia a pulsante.
Impatto sul settore
Stabilisce una ricetta pulita e indipendente dal modello per il passo di "post-addestramento" che mancava nello stack VLA. Si colloca accanto a HIL-SERL (2024), RL-100 (2025) e π-RL (2025) nell'emergente era RL Post-Training & Deployment, estendendo la tendenza del fine-tuning online efficiente ed eliminando i vincoli specifici dell'architettura. È probabile che diventi il modello che i successivi articoli sui VLA (π₀.5+, GR00T+) citeranno nel descrivere la propria pipeline di impiego.
Abstract
I modelli Vision-Language-Action (VLA) possono imparare a svolgere diverse abilità di manipolazione "così come sono", ma ottenere la precisione e la velocità richieste dai compiti reali richiede un ulteriore fine-tuning, ad esempio tramite apprendimento per rinforzo (RL). Presentiamo un metodo leggero che consente un fine-tuning con RL online efficiente nei campioni di VLA preaddestrati, con appena poche ore di pratica nel mondo reale. (1) Adattiamo il VLA perché esponga un "RL token", una rappresentazione di lettura compatta che preserva la conoscenza preaddestrata rilevante per il compito e funge al tempo stesso da interfaccia efficiente per l'RL online, e (2) addestriamo una piccola testa actor-critic su questo RL token per affinare le azioni, ancorando la policy appresa al VLA. L'RL online con l'RL token (RLT) permette di sottoporre a fine-tuning con RL anche VLA di grandi dimensioni in modo rapido ed efficiente. Su quattro compiti con robot reali (installazione di viti, chiusura di fascette, inserimento di un caricatore e inserimento di un cavo Ethernet), RLT aumenta fino a 3 volte la velocità nella parte più difficile del compito e alza in modo significativo i tassi di successo nell'arco di pochi minuti o poche ore di pratica. In alcuni compiti può persino superare la velocità della teleoperazione umana.
Link
- arXiv 2604.23073: https://arxiv.org/abs/2604.23073
- PDF: https://www.pi.website/download/rlt.pdf
- Pagina del progetto: https://www.pi.website/research/rlt