VLA-0

Modello VLA che rappresenta le azioni del robot direttamente come testo

Licenza

CC BY-NC 4.0

Panoramica

VLA-0 è un modello Vision-Language-Action (VLA) che rappresenta le azioni del robot direttamente come testo, senza modificare l'architettura del modello vision-language di base. Basato su Qwen2.5-VL-3B-Instruct, raggiunge prestazioni allo stato dell'arte (tasso di successo del 94,7%) sul benchmark LIBERO, superando approcci più complessi come pi-zero, OpenVLA-OFT e SmolVLA. L'intuizione chiave è che la strategia più semplice, rappresentare le azioni direttamente come testo, è rimasta in gran parte inesplorata, eppure si rivela molto efficace.

VLA-0 è un modello Vision-Language-Action (VLA) di NVIDIA Research che rappresenta le azioni del robot direttamente come testo, senza modificare l'architettura del modello Vision-Language (VLM) di base. Basato su Qwen2.5-VL-3B-Instruct, raggiunge prestazioni allo stato dell'arte con un tasso di successo del 94,7% sul benchmark LIBERO, superando approcci più complessi come pi-zero, OpenVLA-OFT e SmolVLA. L'intuizione chiave è che la strategia più semplice, rappresentare le azioni come numeri interi in forma di testo, è rimasta in gran parte inesplorata, eppure si rivela molto efficace. A differenza di altri VLA, non richiede l'espansione del vocabolario, teste di azione personalizzate o tokenizer specializzati: sfrutta direttamente le capacità esistenti del VLM.

Perché è importante

VLA-0 adotta un approccio di una semplicità unica: rappresenta le azioni del robot direttamente come token di testo, senza modificare in alcun modo il modello vision-language di base. Questo significa che qualsiasi modello Vision-Language (VLM) può diventare un controller per robot, il che rende l'approccio molto accessibile e adattabile.

Il problema che risolve

La maggior parte dei modelli VLA richiede architetture personalizzate che modificano il modello di base, il che li rende complessi da implementare e difficili da aggiornare quando escono VLM migliori. VLA-0 usa il modello Vision-Language (VLM) così com'è, con le azioni come testo, quindi passare a un VLM migliore migliora automaticamente la policy del robot.

Punti chiave

• Rappresenta le azioni del robot come testo: nessuna modifica architetturale necessaria
• Basato su Qwen2.5-VL-3B: sfrutta direttamente le capacità esistenti del modello Vision-Language (VLM)
• Ottiene risultati allo stato dell'arte con un approccio notevolmente semplice
• Qualsiasi modello vision-language può potenzialmente diventare un controller per robot
• Le dimensioni ridotte del modello (3B) consentono un deployment pratico

A chi si rivolge

• Ricercatori di modelli Vision-Language (VLM) che esplorano applicazioni robotiche
• Sviluppatori che vogliono implementazioni VLA semplici
• Team con un'infrastruttura VLM già esistente
• Ricercatori che studiano i formati di rappresentazione delle azioni

Limiti

• Un modello da 3B potrebbe non avere la capacità necessaria per compiti di ragionamento complessi
• La velocità di inferenza è limitata dal throughput di generazione del testo