VLA

• Detto anche: Vision-Language-Action Model, Vision-Language-Action
• Categoria: Learning & autonomy › Foundation models
• Tag: foundation-model, robot-learning, multimodal

Foundation model che combinano visione, comprensione del linguaggio e generazione di azioni robotiche in un'architettura unificata.

Definizione

I modelli Vision-Language-Action (VLA) sono una classe di foundation model che combina percezione visiva, comprensione del linguaggio e generazione di azioni in un'unica architettura di rete neurale.

I VLA vengono addestrati su grandi dataset di dimostrazioni robotiche abbinate a istruzioni in linguaggio naturale. Questo permette loro di:

- Comprendere le osservazioni visive provenienti dalle telecamere - Interpretare comandi in linguaggio naturale - Generare azioni del robot appropriate

I VLA rappresentano un passo significativo verso un'intelligenza robotica di uso generale, perché possono generalizzare a nuovi compiti e ambienti senza un riaddestramento specifico per il compito.

Perché è importante

Un modello Vision-Language-Action è l'architettura che permette di dire a un robot cosa fare con parole comuni e di farglielo fare, senza che un programmatore scriva una policy specifica per il compito. Conta perché cambia l'origine delle capacità del robot: invece di progettare il comportamento compito per compito, si esegue il fine-tuning di un modello che comprende già il mondo visivo grazie al pre-addestramento su scala web. Questa eredità è il punto centrale: un VLA spesso riesce ad agire in modo sensato su un oggetto che non ha mai visto durante l'addestramento robotico, perché ha incontrato quell'oggetto su internet.

Applicazioni principali

• Manipolazione comandata tramite linguaggio: esecuzione di istruzioni formulate con parole comuni
• Policy generaliste pensate per funzionare su molti compiti anziché su uno solo
• Trasferimento cross-embodiment, applicando un unico modello a robot di forma diversa
• Acquisizione di compiti few-shot, adattandosi a un nuovo compito a partire da poche dimostrazioni
• Robotica domestica e di servizio, dove la varietà degli oggetti rende impraticabile la progettazione manuale
• Baseline di ricerca, dato che i VLA aperti sono ormai il punto di confronto standard

In pratica

RT-2 ha stabilito la ricetta: prendere un modello Vision-Language pre-addestrato su immagini e testi del web, poi sottoporlo a co-fine-tuning su traiettorie robotiche in modo che emetta le azioni come un altro tipo di token. OpenVLA ha realizzato una versione a pesi aperti su cui la maggior parte delle persone costruisce davvero, e la famiglia pi0 è passata al flow matching per un controllo continuo più fluido e a frequenza più alta. Il vincolo pratico è la velocità di inferenza: un modello grande non può eseguire un anello di controllo a centinaia di hertz, quindi i VLA emettono di solito blocchi di azioni (action chunk) che un controllore di livello inferiore esegue.

Idee sbagliate comuni

• Un VLA è un modello linguistico con un robot attaccato: la predizione delle azioni viene addestrata insieme alla percezione, non aggiunta a posteriori
• I VLA generalizzano a qualsiasi cosa: generalizzano su oggetti e formulazioni molto meglio delle policy precedenti, ma falliscono ancora al di fuori della distribuzione di abilità vista in addestramento
• I modelli più grandi sono semplicemente migliori: la latenza di inferenza limita direttamente la frequenza di controllo, e un modello più lento può controllare peggio
• Eliminano la necessità di dimostrazioni: i dati robotici restano l'ingrediente scarso e costoso

Chi dovrebbe saperlo

• Chiunque segua la direzione dell'apprendimento robotico, dato che i VLA dominano la ricerca attuale
• Ingegneri che devono scegliere tra una pipeline classica e una policy generalista appresa
• Ricercatori che scelgono una baseline o un modello di base su cui fare fine-tuning
• Acquirenti che valutano affermazioni su robot che «capiscono il linguaggio naturale»
• Studenti che si avvicinano all'apprendimento robotico, dove queste sono le architetture di riferimento

Tecnologie correlate

• Modello Vision-Language (VLM)
• RT-2 e RT-2-X (Google DeepMind)
• OpenVLA
• Behavior cloning
• Diffusion policy
• Architettura Transformer
• Encoder visivi CLIP e SigLIP
• Tokenizzazione delle azioni e action chunking

Termini correlati

• VLM
• Foundation Model
• Imitation Learning
• Diffusion Policy

Progetti correlati

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Rerun: Time-aware visualizer and data store for multimodal robotics data
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation

Video

• LLMs Meet Robotics: What Are Vision-Language-Action Models?: Ilia

Wikipedia

• Modello visione-linguaggio-azione

Link

• OpenVLA Paper: https://openvla.github.io/