LingBot-VLA

Foundation model VLA da 4B parametri addestrato su dati bimanuali di 9 piattaforme robotiche

Licenza

Apache-2.0

Panoramica

Un foundation model Vision-Language-Action pragmatico di Robbyant (controllata di Ant Group), pensato come cervello universale per la manipolazione robotica nel mondo reale. Addestrato su 20.000 ore di dati bimanuali raccolti tramite teleoperazione da 9 piattaforme robotiche a doppio braccio, LingBot-VLA combina un backbone Qwen2.5-VL-3B-Instruct con un action expert Mixture-of-Transformers. Raggiunge un tasso di successo medio dell'88,56% nella simulazione RoboTwin 2.0 e risultati allo stato dell'arte sul benchmark reale GM-100 su 3 piattaforme.

LingBot-VLA è un modello Vision-Language-Action (VLA) open source, un foundation model sviluppato da Robbyant, la controllata di Ant Group dedicata all'IA incarnata, e rilasciato a gennaio 2026. Presentato come cervello universale per la manipolazione robotica, è stato addestrato su circa 20.000 ore di dati bimanuali reali raccolti tramite teleoperazione su 9 diffuse configurazioni robotiche a doppio braccio, tra cui Agibot G1, AgileX e Galaxea R1Pro.

Il modello adotta un'architettura Mixture-of-Transformers (MoT) che combina un backbone visione-linguaggio preaddestrato Qwen2.5-VL-3B-Instruct con una testa action expert specializzata. Questo design permette al modello di sfruttare la forte comprensione multimodale del VLM generando al tempo stesso azioni robotiche precise. LingBot-VLA è disponibile in due varianti: una versione senza profondità (LingBot-VLA-4B) e una variante distillata con profondità (LingBot-VLA-4B-Depth) che incorpora la percezione spaziale di LingBot-Depth e MoGe-2.

La pipeline di addestramento ottiene un'accelerazione di 1,5-2,8x rispetto alle codebase esistenti orientate ai VLA e supporta configurazioni multi-GPU da 8 a 256 GPU. Costruito sul framework LeRobot, il rilascio open source comprende non solo i pesi del modello ma una codebase completa pronta per la produzione, con strumenti per l'elaborazione dei dati, un fine-tuning efficiente e la valutazione automatica sul benchmark GM-100.

LingBot-VLA fa parte di una più ampia famiglia di modelli di Robbyant che comprende LingBot-VA (modello del mondo video-azione), LingBot-World (modello del mondo in tempo reale) e LingBot-Depth (modello di percezione spaziale), che insieme formano uno stack completo per lo sviluppo di IA incarnata.

Perché è importante

LingBot-VLA è un passo significativo verso modelli VLA pratici e pronti per il deployment, accessibili alla comunità robotica. Addestrandosi su 20.000 ore di dati bimanuali reali su 9 diverse piattaforme robotiche, affronta una delle sfide chiave dei foundation model robotici: la generalizzazione cross-embodiment. Il modello non funziona solo in simulazione: è stato validato sul benchmark reale GM-100 su più piattaforme robotiche fisiche.

Il rilascio open source va oltre i soli pesi del modello. Robbyant fornisce una pipeline di produzione completa, con elaborazione dei dati, strumenti di fine-tuning e valutazione automatica, abbassando in modo significativo la barriera al deployment di modelli VLA in contesti reali. L'accelerazione dell'addestramento di 1,5-2,8x rispetto alle codebase esistenti lo rende inoltre più accessibile ai team con budget di calcolo limitati. Insieme alla licenza Apache 2.0, LingBot-VLA offre uno dei pacchetti VLA più adatti all'uso commerciale e più completi sul piano pratico oggi disponibili.

Il problema che risolve

Mettere in funzione modelli di manipolazione robotica su piattaforme hardware diverse richiede di solito una costosa raccolta di dati e un addestramento per ciascuna piattaforma. LingBot-VLA affronta il problema offrendo un foundation model cross-embodiment preaddestrato su dati bimanuali diversificati provenienti da 9 diverse configurazioni robotiche. La sua codebase pronta per la produzione e la pipeline di addestramento efficiente riducono tempi e costi di calcolo per il fine-tuning e il deployment su nuove piattaforme, mentre la variante distillata con profondità aggiunge consapevolezza spaziale senza richiedere sensori di profondità al momento dell'inferenza.

Punti chiave

• Addestrato su 20.000 ore di dati bimanuali reali raccolti tramite teleoperazione da 9 piattaforme robotiche a doppio braccio, tra cui Agibot G1, AgileX e Galaxea R1Pro
• Raggiunge un tasso di successo medio dell'88,56% sul benchmark di simulazione RoboTwin 2.0 e risultati allo stato dell'arte sul benchmark reale GM-100
• Usa un'architettura Mixture-of-Transformers che combina il backbone Qwen2.5-VL-3B-Instruct con un action expert specializzato per una manipolazione precisa
• Rilascio open source completo con licenza Apache 2.0, che comprende pesi del modello, pipeline di addestramento, strumenti di elaborazione dei dati e un framework di valutazione automatica
• La pipeline di addestramento ottiene un'accelerazione di 1,5-2,8x rispetto alle codebase VLA esistenti e supporta configurazioni da 8 a 256 GPU

A chi si rivolge

• Ingegneri robotici che mettono in funzione sistemi di manipolazione a doppio braccio e hanno bisogno di un modello VLA preaddestrato che generalizzi tra piattaforme
• Laboratori di ricerca che studiano il trasferimento cross-embodiment e le architetture dei modelli VLA
• Aziende che costruiscono prodotti commerciali di manipolazione robotica e hanno bisogno di un foundation model con licenza Apache 2.0
• Sviluppatori che lavorano con il framework LeRobot e vogliono un modello VLA ad alte prestazioni con strumenti integrati

Limiti

• Addestrato e valutato principalmente su compiti di manipolazione bimanuale a doppio braccio; la copertura della manipolazione a braccio singolo e mobile è meno consolidata
• Richiede notevoli risorse GPU per l'addestramento (configurazioni da 8 a 256 GPU); i requisiti per l'inferenza non sono ancora documentati del tutto
• I tassi di successo sul benchmark reale GM-100 (17,30% in media) evidenziano il divario di difficoltà che resta tra prestazioni in simulazione e nel mondo reale
• La variante distillata con profondità dipende dai modelli LingBot-Depth e MoGe-2 durante l'addestramento, il che aggiunge complessità all'intera pipeline