OpenVLA

Modello Vision-Language-Action (VLA) da 7B parametri per la manipolazione robotica

Licenza

MIT

Panoramica

Un modello Vision-Language-Action (VLA) open source da 7B parametri per la manipolazione robotica. OpenVLA è addestrato su 970k dimostrazioni robotiche reali e supera RT-2-X (55B) del 16,5% di tasso di successo assoluto su 29 compiti, con 7 volte meno parametri. Basato sul modello linguistico Llama 2 combinato con gli encoder visivi DINOv2 e SigLIP, può essere adattato con fine-tuning su GPU consumer e mostra una forte generalizzazione in ambienti multi-compito, con solide capacità di grounding linguistico.

OpenVLA è un modello Vision-Language-Action (VLA) open source da 7B parametri pensato per la manipolazione robotica general purpose. Addestrato su 970.000 dimostrazioni robotiche reali su 29 compiti, raggiunge prestazioni allo stato dell'arte pur essendo 7 volte più piccolo di modelli comparabili come RT-2-X (55B parametri). Basato sul modello linguistico Llama 2 combinato con gli encoder visivi DINOv2 e SigLIP, OpenVLA mostra eccezionali capacità di generalizzazione in ambienti multi-compito e può essere adattato con fine-tuning su GPU consumer, rendendo l'IA robotica avanzata accessibile a ricercatori e sviluppatori di tutto il mondo.

Perché è importante

OpenVLA ha dimostrato che un modello da 7B parametri può superare modelli molto più grandi (RT-2-X da 55B) nella manipolazione robotica, rendendo i modelli Vision-Language-Action (VLA) praticabili su hardware consumer. Ha provato che i foundation model open source per robot possono competere con le alternative proprietarie.

Il problema che risolve

I precedenti foundation model per robot come RT-2-X richiedevano enormi risorse di calcolo (55B parametri), il che li rendeva inaccessibili alla maggior parte dei ricercatori. OpenVLA dimostra che architetture efficienti possono ottenere risultati migliori a una frazione del costo, democratizzando la ricerca sui foundation model per robot.

Punti chiave

• Supera RT-2-X (55B) del 16,5% con 7 volte meno parametri
• Basato su Llama 2 + DINOv2 + SigLIP: sfrutta backbone LLM e visivi collaudati
• Fine-tuning possibile con LoRA su una sola GPU (gli autori usano una A100)
• Addestrato su 970K dimostrazioni robotiche reali
• Un forte grounding linguistico consente di seguire istruzioni su 29 compiti

A chi si rivolge

• Ricercatori ML con budget di calcolo limitati
• Laboratori di robotica che fanno fine-tuning per compiti specifici
• Studenti che esplorano i modelli Vision-Language-Action (VLA)
• Aziende che valutano approcci basati su foundation model per robot

Limiti

• Addestrato soprattutto sulla manipolazione da tavolo: limitato a scenari simili
• Richiede una GPU per l'inferenza (non adatto al deployment edge senza ottimizzazioni)
• Il fine-tuning richiede comunque dati di dimostrazione da robot reali
• Il grounding linguistico funziona meglio con istruzioni semplici