X-VLA

Modello VLA cross-embodiment con scalabilità tramite soft prompt

Licenza

Apache-2.0

Panoramica

X-VLA è un foundation model Vision-Language-Action (VLA) a soft prompt che scala su embodiment robotici diversi. Grazie a embedding apprendibili specifici per ciascun embodiment, un unico backbone Transformer unificato può adattarsi a robot, telecamere, spazi delle azioni e ambienti diversi. Il modello raggiunge una generalizzazione allo stato dell'arte su 6 piattaforme di simulazione e su 3+ robot reali, tra cui Franka, WidowX e Agibot. Tra le caratteristiche principali: controllo continuo a 50 Hz tramite flow matching, fine-tuning efficiente in termini di campioni congelando gli encoder del modello Vision-Language (VLM) e integrazione nativa con la piattaforma LeRobot di HuggingFace.

X-VLA è un foundation model Vision-Language-Action (VLA) che usa soft prompt per scalare su embodiment robotici diversi con pochissimi parametri aggiuntivi. Introducendo embedding apprendibili per ogni fonte di dati distinta come prompt specifici per l'embodiment, un unico backbone Transformer unificato può adattarsi a robot, telecamere, spazi delle azioni e ambienti diversi. Il modello impiega una pipeline di codifica semplificata che separa esplicitamente i flussi di ingresso ad alta e a bassa dimensionalità, con flow matching per la generazione di azioni continue a 50 Hz. X-VLA raggiunge prestazioni allo stato dell'arte su 6 piattaforme di simulazione e su 3+ robot reali, tra cui Franka, WidowX e Agibot, e ha vinto l'AgiBot World Challenge a IROS 2025.

Perché è importante

X-VLA risolve il problema dell'embodiment nei foundation model per robot. Grazie agli embedding a soft prompt, un unico modello preaddestrato può essere adattato a un nuovo robot regolando solo circa l'1% dei suoi parametri, rendendo per la prima volta praticabile il trasferimento delle policy tra piattaforme.

Il problema che risolve

I foundation model per robot di solito vanno riaddestrati o adattati con fine-tuning per ogni nuova piattaforma robotica. X-VLA usa soft prompt specifici per l'embodiment, così un unico modello può controllare robot diversi, riducendo drasticamente il costo di distribuire le policy su flotte di robot.

Punti chiave

• Un unico modello unificato controlla embodiment robotici diversi tramite embedding apprendibili
• L'architettura a soft prompt si adatta a un nuovo embodiment con il fine-tuning di solo l'1% dei parametri
• Scala su morfologie robotiche e configurazioni di sensori diverse
• Basato su un'architettura VLA collaudata, con un'innovazione cross-embodiment
• I pesi open source permettono la ricerca sul trasferimento di policy tra più robot

A chi si rivolge

• Operatori di flotte multi-robot
• Ricercatori che studiano il trasferimento cross-embodiment
• Aziende che impiegano piattaforme robotiche diverse
• Ricercatori di foundation model che esplorano la generalizzazione

Limiti

• Le prestazioni possono variare tra embodiment molto diversi
• Richiede alcuni dati di calibrazione per ogni nuovo embodiment
• I soft prompt aggiungono complessità alla pipeline di deployment