πRL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models
Autori: Kang Chen, Zhihao Liu, Tonghe Zhang, Zhen Guo, Si Xu, Hao Lin, Hongzhi Zang, Xiang Li, Quanlu Zhang, Zhaofei Yu, Guoliang Fan, Tiejun Huang, Yu Wang, Chao Yu · 2025
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; l'immagine è riportata citando la sua fonte.
In breve
πRL consente di affinare con apprendimento per rinforzo online modelli Vision-Language-Action (VLA) basati sul flusso, come π₀ e π₀.₅; in simulazione porta π₀.₅ con poche dimostrazioni su LIBERO dal 77,1% al 98,3%.
Perché è importante
π₀ e π₀.₅ si basano sul flow matching, che l'apprendimento per rinforzo standard a gradiente della policy non riusciva ad addestrare. πRL mostra, su quattro benchmark di simulazione, che l'apprendimento per rinforzo online può portare policy addestrate su poche dimostrazioni al livello dell'addestramento sull'intero dataset o oltre.
Problema
I VLA basati sul flusso come π₀ e π₀.₅ producono le azioni tramite denoising iterativo, quindi la log-verosimiglianza di un'azione, di cui l'apprendimento per rinforzo a gradiente della policy ha bisogno, non si può calcolare direttamente. Questo ha impedito di migliorare questi modelli con l'apprendimento per rinforzo online oltre quanto dà il fine-tuning supervisionato.
Soluzione proposta
πRL offre due modi per rendere la catena di denoising addestrabile con l'apprendimento per rinforzo. Flow-Noise aggiunge una rete di rumore apprendibile, così la catena diventa un processo decisionale a tempo discreto con log-verosimiglianze esatte. Flow-SDE rende stocastico il campionatore deterministico e unisce il denoising all'interazione del robot con il suo ambiente in un processo decisionale a due livelli, che dà all'apprendimento per rinforzo l'esplorazione di cui ha bisogno. Le policy sono addestrate con PPO in molti ambienti simulati in parallelo.
Idee chiave
- Ai VLA basati sul flusso mancano log-verosimiglianze delle azioni calcolabili, di cui l'apprendimento per rinforzo a gradiente della policy ha bisogno.
- Una rete di rumore apprendibile (Flow-Noise) fa della catena di denoising un processo decisionale con log-verosimiglianze esatte.
- Rendere stocastico il campionatore (Flow-SDE) dà all'apprendimento per rinforzo l'esplorazione di cui ha bisogno, all'interno di un processo decisionale a due livelli.
- Con l'apprendimento per rinforzo online, policy affinate su poche dimostrazioni eguagliano o superano in simulazione il fine-tuning sull'intero dataset.
Risultati principali
- Su LIBERO (simulazione), π₀ con poche dimostrazioni sale dal 57,6% al 97,6% e π₀.₅ con poche dimostrazioni dal 77,1% al 98,3%, sopra il 96,9% di π₀.₅ affinato sull'intero dataset.
- Su quattro benchmark di simulazione (LIBERO, ManiSkill, MetaWorld, CALVIN), l'apprendimento per rinforzo porta il successo medio di π₀ con poche dimostrazioni dal 51,1% all'80,3% e quello di π₀.₅ dal 55,6% all'86,6%, ciascuno con il migliore dei suoi due metodi.
- Su ManiSkill, uno scenario multitask con 4.352 combinazioni di compiti di pick-and-place, π₀.₅ sale dal 40,1% al 90,9%.
- In un caso di studio sim-to-real, una policy addestrata con apprendimento per rinforzo in un simulatore fotorealistico ha funzionato zero-shot su un vero braccio Franka con il 40% di successo, mentre la policy addestrata solo per imitazione falliva.
Limiti
- Tutto l'addestramento con apprendimento per rinforzo avviene in simulazione: gli autori osservano che l'apprendimento per rinforzo online non è ancora abbastanza efficiente in termini di campioni per addestrare su robot reali.
- Le prove su robot reali si limitano a un solo caso di studio zero-shot sim-to-real, con il 40% di successo.
- I miglioramenti variano a seconda del benchmark: su CALVIN, π₀ con poche dimostrazioni passa al massimo solo dal 57,5% al 61,7%.
Impatto sul settore
πRL ha mostrato che i VLA basati sul flusso si possono affinare su larga scala con l'apprendimento per rinforzo online in simulazione, e ha proposto due metodi per farlo, Flow-Noise e Flow-SDE, su cui altri possono costruire.
Abstract
I modelli Vision-Language-Action (VLA) permettono ai robot di comprendere ed eseguire compiti complessi a partire da input multimodali. Sebbene lavori recenti esplorino l'uso dell'apprendimento per rinforzo (RL) per automatizzare la laboriosa raccolta di dati necessaria a scalare il fine-tuning supervisionato (SFT), applicare l'RL a VLA di grandi dimensioni basati sul flusso (ad es. π₀, π₀.₅) resta difficile a causa delle log-verosimiglianze delle azioni, intrattabili, che derivano dal flow matching. Affrontiamo questa sfida con πRL, che propone due approcci tecnici: (1) Flow-Noise modella il processo di denoising come un MDP a tempo discreto con una rete di rumore apprendibile, per il calcolo esatto della log-verosimiglianza. (2) Flow-SDE integra il denoising con l'interazione tra agente e ambiente, formulando un MDP a due livelli che impiega la conversione da ODE a SDE per un'esplorazione RL efficiente. Valutiamo πRL su diversi benchmark, e gli esperimenti mostrano che l'RL porta miglioramenti significativi delle prestazioni sia nella distribuzione sia fuori distribuzione.
Link
- arXiv 2510.25889: https://arxiv.org/abs/2510.25889
- PDF: https://arxiv.org/pdf/2510.25889