OpenVLA: An Open-Source Vision-Language-Action Model
Autori: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, Quan Vuong, Thomas Kollar, Benjamin Burchfiel, Russ Tedrake, Dorsa Sadigh, Sergey Levine, Percy Liang, Chelsea Finn · CoRL 2024
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.
In breve
Il primo modello VLA open source da 7B addestrato su 970k dimostrazioni robotiche, che supera del 16,5% il modello chiuso RT-2-X da 55B pur essendo 7 volte più piccolo e adattabile con fine-tuning su GPU consumer.
Perché è importante
OpenVLA democratizza l'accesso all'apprendimento robotico allo stato dell'arte. I team possono sottoporre a fine-tuning un potente modello preaddestrato sui propri compiti specifici usando una sola GPU consumer, invece di addestrare da zero o pagare API chiuse.
Problema
I modelli Vision-Language-Action esistenti sono closed source e inaccessibili, e non esiste una metodologia consolidata per il fine-tuning efficiente dei VLA su nuovi compiti robotici: barriere critiche che impediscono un'adozione diffusa dei foundation model in robotica.
Soluzione proposta
OpenVLA combina Llama 2 con gli encoder visivi DINOv2 e SigLIP, ed è addestrato su 970k dimostrazioni robotiche diversificate. Supporta un fine-tuning efficiente tramite LoRA su GPU consumer e può essere quantizzato per l'impiego senza perdita di prestazioni.
Idee chiave
- Un VLA open source può eguagliare o superare modelli chiusi da 55B con soli 7B di parametri, grazie a una maggiore diversità dei dati
- Il fine-tuning dei VLA su GPU consumer è praticabile tramite LoRA, il che rende l'adozione accessibile ai piccoli team
- Il modello supera Diffusion Policy del 20,4%, a dimostrazione del valore del preaddestramento
- La quantizzazione consente un impiego efficiente senza penalizzare i tassi di successo dei compiti
Risultati principali
- Supera RT-2-X (55B) del 16,5% nel tasso assoluto di successo su 29 compiti con 7 volte meno parametri
- Batte Diffusion Policy del 20,4% in ambienti multi-compito con un forte ancoraggio linguistico
- Viene sottoposto con successo a fine-tuning su GPU consumer usando metodi di adattamento LoRA
- Mantiene le prestazioni quando è quantizzato per un'inferenza efficiente
- Forte generalizzazione a nuovi oggetti e scene dopo il fine-tuning
Limiti
- I 7B di parametri richiedono comunque una notevole potenza di calcolo per l'inferenza rispetto a policy più piccole
- Addestrato principalmente sulla manipolazione da tavolo: minore copertura di altri domini
- Il fine-tuning richiede comunque la raccolta di dati di dimostrazione robotici
- L'ancoraggio linguistico ereditato da Llama 2 può presentare bias
Impatto sul settore
OpenVLA democratizza i foundation model per la robotica. In precedenza, solo i laboratori ben finanziati potevano accedere a potenti modelli VLA. Ora qualsiasi team può sottoporre a fine-tuning un modello allo stato dell'arte su hardware consumer, accelerando potenzialmente l'impiego dei robot in settori che vanno dalla manifattura all'assistenza domestica.
Abstract
Le grandi policy preaddestrate su una combinazione di dati visione-linguaggio su scala Internet e di dimostrazioni robotiche diversificate hanno il potenziale di cambiare il modo in cui insegniamo ai robot nuove abilità: invece di addestrare nuovi comportamenti da zero, possiamo sottoporre a fine-tuning questi modelli Vision-Language-Action (VLA) per ottenere policy robuste e generalizzabili per il controllo visuomotorio. Eppure, un'adozione diffusa dei VLA in robotica si è rivelata difficile perché 1) i VLA esistenti sono in gran parte chiusi e inaccessibili al pubblico, e 2) i lavori precedenti non esplorano metodi per il fine-tuning efficiente dei VLA su nuovi compiti, un elemento chiave per l'adozione. Per affrontare queste sfide introduciamo OpenVLA, un VLA open source da 7B di parametri addestrato su una raccolta diversificata di 970k dimostrazioni di robot reali. OpenVLA si basa su un modello linguistico Llama 2 combinato con un encoder visivo che fonde le feature preaddestrate di DINOv2 e SigLIP. Grazie alla maggiore diversità dei dati e ai nuovi componenti del modello, OpenVLA mostra risultati solidi nella manipolazione generalista, superando modelli chiusi come RT-2-X (55B) del 16,5% nel tasso assoluto di successo dei compiti su 29 compiti e più embodiment robotici, con 7 volte meno parametri. Mostriamo inoltre che possiamo sottoporre efficacemente OpenVLA a fine-tuning per nuovi contesti, con risultati di generalizzazione particolarmente solidi in ambienti multi-compito con più oggetti e forti capacità di ancoraggio linguistico, e superare del 20,4% metodi espressivi di apprendimento per imitazione da zero come Diffusion Policy. Esploriamo anche l'efficienza di calcolo; come contributo separato, mostriamo che OpenVLA può essere sottoposto a fine-tuning su GPU consumer tramite moderni metodi di adattamento a basso rango e servito in modo efficiente tramite quantizzazione senza penalizzare il tasso di successo a valle. Infine, rilasciamo i checkpoint del modello, i notebook per il fine-tuning e la nostra codebase PyTorch con supporto integrato per l'addestramento di VLA su larga scala sui dataset Open X-Embodiment.
Link
- arXiv 2406.09246: https://arxiv.org/abs/2406.09246
- PDF: https://arxiv.org/pdf/2406.09246.pdf
- Codice: https://github.com/openvla/openvla
- Pagina del progetto: https://openvla.github.io/