Self-Improving Vision-Language-Action Models with Data Generation via Residual RL
Autori: Wenli Xiao, Haotian Lin, Andy Peng, Haoru Xue, Tairan He, Yuqi Xie, Fengyuan Hu, Jimmy Wu, Zhengyi Luo, Linxi "Jim" Fan, Guanya Shi, Yuke Zhu · arXiv preprint 2025
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.
In breve
PLD migliora una policy robotica VLA con dati che genera da sé: piccole policy residue di RL imparano a correggere i fallimenti del VLA, e le loro traiettorie servono ad affinare il VLA, senza dimostrazioni umane aggiuntive.
Perché è importante
Il fine-tuning dei modelli VLA richiede di solito costosi dati di teleoperazione umana. Questo articolo mostra che i dati aggiuntivi possono venire invece dall'RL, con uno sforzo umano minimo. Nelle sue prove, questi dati di RL hanno dato più successo dei dati umani aggiuntivi nella maggior parte dei compiti. Nei compiti a lungo orizzonte, sono rimasti ancora al di sotto dei dati umani.
Problema
Il fine-tuning supervisionato (SFT) è il modo standard di adattare i modelli VLA, ma si basa su costose dimostrazioni umane. I dati di teleoperazione umana vengono raccolti separatamente dalla policy impiegata, quindi raramente coprono gli stati che la policy raggiunge davvero. L'RL potrebbe generare i dati, ma le ricompense sparse lo rendono instabile e poco efficiente in termini di campioni. Gli esperti RL addestrati separatamente dal generalista producono inoltre dati che non corrispondono al suo comportamento e mancano di diversità.
Soluzione proposta
Probe, Learn, Distill (PLD) è un framework in tre fasi. (1) Acquisizione degli specialisti: congelare il backbone del VLA e addestrare attori residui leggeri tramite RL off-policy; questi specialisti prendono il controllo nelle regioni di fallimento. (2) Raccolta dati consapevole della distribuzione: usare uno schema di rollout ibrido, così che gli interventi residui si concentrino attorno agli stati che il VLA di base visita davvero, catturando comunque le traiettorie di recupero. (3) Distillare le traiettorie selezionate nel generalista tramite SFT standard. Plug-and-play sui VLA esistenti.
Idee chiave
- Lasciare che il VLA agisca per primo e che la policy residua subentri dopo mantiene i dati raccolti vicini al comportamento proprio del VLA. Gli autori ritengono che così il fine-tuning dimentichi meno.
- I dati di un esperto RL puro sono ottimali ma ristretti e lontani dal comportamento della policy di base. I dati delle esecuzioni riuscite della policy di base stessa rendono meno e non generalizzano a compiti mai visti.
- I dati PLD hanno dato il miglior successo nella distribuzione su LIBERO-90, mantenendo all'incirca lo stesso trasferimento zero-shot a compiti mai visti dei dati umani.
- Sondare di più aiuta solo fino a un certo punto: le prestazioni si stabilizzano quando il VLA agisce fino al 60% dell'episodio prima del passaggio (α = 0,6), e calano oltre.
- Preaddestrare il critic con Cal-QL su 50 traiettorie riuscite della policy di base ha funzionato meglio. CQL ha funzionato peggio e ha mostrato un grave oblio.
Risultati principali
- LIBERO (simulazione): dopo il fine-tuning sui dati PLD, il successo medio è salito dal 93,4% al 97,2% per π0 e dal 91,8% al 99,2% per OpenVLA (Tabella 1).
- SimplerEnv (simulazione): il successo medio di Octo è salito dal 71,8% al 96,6%. Il guadagno maggiore è stato di +50,6 punti su WidowX Pick Carrot, dal 43,3% al 93,9% (Tabella 2).
- Vero braccio Franka: dopo il fine-tuning sui dati PLD, π0 è riuscito 30/30 sia nell'inserimento di un perno sia nella presa di un cubo. Con dati umani aggiuntivi è riuscito 10/30 nella presa del cubo, e 16/30 con dati RLPD.
- Scene reali disordinate e mai viste (Franka): i dati PLD hanno dato 28/30 nella presa del cubo blu e 20/30 in quella del cubo rosso, contro 12/30 e 10/30 con dati umani.
- Due veri bracci YAM: dopo al massimo 8 ore di RL per sottocompito, un'unica policy distillata ha eseguito un ciclo di inserimento e scollegamento di una GPU per almeno 1 ora senza aiuto umano.
- Compiti mai visti di LIBERO-90: addestrato solo sul 10% dei compiti, π0 ha raggiunto il 24,4% di successo sui compiti mai visti con dati PLD, il 21,4% con dati umani e il 5,6% con esecuzioni della policy di base.
Limiti
- Trasferimento a lungo orizzonte: su LIBERO-10, i dati PLD hanno battuto quelli delle esecuzioni della policy di base, ma «restano ancora al di sotto delle prestazioni ottenute con dimostrazioni di esperti umani».
- PLD ha bisogno di una policy di base che a volte riesca già. Nelle prove nel mondo reale, π0 è stato prima affinato su 200 traiettorie teleoperate.
- Nel mondo reale, ogni compito richiede un classificatore binario di ricompensa addestrato su un piccolo insieme di stati di successo e di fallimento raccolti a mano. Per l'inserimento del perno, una persona ha dovuto spostare il foro per creare varietà.
- La scala dell'azione residua «va regolata con cura». Una scala troppo grande destabilizza l'esplorazione iniziale, una troppo piccola limita le prestazioni finali. PLD mostra anche un calo iniziale delle prestazioni durante l'RL.
- Nel compito di inserimento della GPU con YAM, «il tasso di successo al primo tentativo di ogni fase non è del 100%». Il ciclo continua perché il sistema si riprende dai fallimenti.
Impatto sul settore
PLD mostra che i dati generati dall'RL e allineati alla policy di base «possono superare le dimostrazioni di sola teleoperazione» per il fine-tuning dei VLA, in simulazione e su bracci reali. L'eccezione sono i compiti a lungo orizzonte, dove i dati umani restavano migliori. Gli autori lo definiscono «un passo pratico verso un post-addestramento autonomo e scalabile». Indicano come lavoro futuro il trasferimento tra più incarnazioni, l'apprendimento continuo sul robot e la raccolta di dati con vincoli di sicurezza.
Abstract
Il supervised fine-tuning (SFT) è diventato la strategia di post-addestramento de facto per i grandi modelli Vision-Language-Action (VLA), ma la sua dipendenza da costose dimostrazioni umane ne limita la scalabilità e la generalizzazione. Proponiamo Probe, Learn, Distill (PLD), un framework plug-and-play che migliora i VLA tramite la generazione autonoma di dati: una policy RL residua sonda le modalità di fallimento, apprende le correzioni e distilla le traiettorie risultanti nel VLA di base.
Link
- arXiv 2511.00091: https://arxiv.org/abs/2511.00091
- DOI 10.48550/arXiv.2511.00091: https://doi.org/10.48550/arXiv.2511.00091
- PDF: https://arxiv.org/pdf/2511.00091
- Pagina del progetto: https://openreview.net/forum?id=shqo2VPfc7