Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Xiaomi-Robotics-0

Modello VLA da 4,7B parametri di Xiaomi per il controllo robotico in tempo reale a 30Hz

Licenza

Apache-2.0

Panoramica

Un modello Vision-Language-Action (VLA) open source da 4,7B parametri sviluppato da Xiaomi Robotics, che combina un modello vision-language Qwen3-VL-4B con un Diffusion Transformer a 16 strati per la manipolazione robotica in tempo reale. Ottiene risultati allo stato dell'arte nei benchmark LIBERO (98,7%), CALVIN (lunghezza media 4,80) e SimplerEnv, girando a 30 Hz su una GPU consumer RTX 4090.

Xiaomi-Robotics-0 è il modello Vision-Language-Action (VLA) open source di prima generazione di Xiaomi, progettato per un ragionamento robotico ad alte prestazioni e un'esecuzione in tempo reale. Con 4,7 miliardi di parametri, il modello adotta un'architettura Mixture-of-Transformers (MoT) che separa percezione e generazione delle azioni in due componenti specializzati: un modello vision-language preaddestrato Qwen3-VL-4B-Instruct, che si occupa della comprensione visiva, della comprensione del linguaggio e delle decisioni di alto livello, e un Diffusion Transformer (DiT) a 16 strati che genera blocchi di azioni continue tramite flow matching.

La strategia di preaddestramento in due fasi è pensata per preservare le capacità multimodali del modello Vision-Language (VLM) mentre acquisisce solide abilità di generazione delle azioni. Nella fase 1, il VLM viene co-addestrato su una miscela 1:6 di dati vision-language (oltre 80M campioni) e dati di traiettorie robotiche (circa 200M passi temporali), usando un meccanismo di Action Proposal chiamato Choice Policies. Nella fase 2, il VLM viene congelato e funge da condizionatore multimodale, mentre il DiT viene addestrato da zero con una loss di flow matching per ricostruire dal rumore sequenze di azioni precise.

Il post-addestramento introduce diverse innovazioni per il deployment nel mondo reale: un'esecuzione asincrona che riusa la KV cache del VLM per ridurre al minimo la latenza di inferenza, una maschera di attenzione a forma di Lambda che impedisce lo sfruttamento delle correlazioni temporali garantendo al contempo la reattività all'ambiente, e una ripesatura adattiva della loss basata sull'errore L1. Queste ottimizzazioni permettono al modello di raggiungere una latenza di inferenza di 80 ms e una frequenza di controllo in tempo reale di 30 Hz su una sola GPU consumer NVIDIA RTX 4090.

Il modello ottiene risultati allo stato dell'arte in tutti e tre i benchmark di simulazione standard, superando oltre 30 modelli concorrenti tra cui pi0, pi0.5, OpenVLA, RT-1 e RT-2. Su LIBERO ottiene un tasso di successo medio del 98,7% (con il 100% sulla suite Object), su CALVIN raggiunge una lunghezza media della catena di compiti di 4,80 sullo split ABCD->D, e su SimplerEnv arriva all'85,5% di accuratezza in visual matching sui compiti di Google Robot. Esperimenti nel mondo reale su robot bimanuali mostrano una coordinazione occhio-mano stabile durante compiti a lungo orizzonte come lo smontaggio di costruzioni Lego e la piegatura di asciugamani.

Perché è importante

Xiaomi-Robotics-0 rappresenta una tappa significativa nel rendere i modelli VLA ad alte prestazioni accessibili alla comunità robotica più ampia. Ottenendo risultati allo stato dell'arte nei benchmark mentre gira in tempo reale su hardware consumer (una sola RTX 4090), abbassa drasticamente la barriera d'ingresso per ricercatori e sviluppatori che prima avevano bisogno di costose configurazioni multi-GPU per lavorare con i foundation model per la robotica. La licenza Apache 2.0 e la piena compatibilità con l'ecosistema HuggingFace Transformers rendono semplice il fine-tuning e il deployment su piattaforme robotiche diverse.

L'architettura del modello affronta anche un problema critico nel campo dei VLA: la tendenza dell'addestramento sulle azioni a degradare le capacità del modello vision-language sottostante. L'approccio in due fasi di Xiaomi, con il condizionatore VLM congelato, preserva la comprensione multimodale ottenendo al contempo una generazione precisa delle azioni, e il risultato è un modello che può eseguire contemporaneamente rilevamento di oggetti, QA visivo e manipolazione robotica.

Il problema che risolve

Gli attuali modelli VLA devono conciliare il mantenimento di una solida comprensione vision-language con l'apprendimento di una generazione precisa delle azioni robotiche, e spesso sacrificano l'una per l'altra. Inoltre, la maggior parte dei modelli allo stato dell'arte richiede costose configurazioni di inferenza multi-GPU che rendono impraticabile il deployment in tempo reale su hardware standard. Xiaomi-Robotics-0 risolve entrambi i problemi con la sua architettura Mixture-of-Transformers disaccoppiata e una pipeline di inferenza asincrona ottimizzata, offrendo prestazioni di manipolazione allo stato dell'arte a velocità in tempo reale su una sola GPU consumer e preservando appieno le capacità di ragionamento visivo e di comprensione del linguaggio del modello Vision-Language (VLM) sottostante.

Punti chiave

  • Ottiene risultati allo stato dell'arte nei benchmark LIBERO (98,7%), CALVIN (lunghezza media 4,80) e SimplerEnv (85,5% VM), superando oltre 30 modelli concorrenti tra cui pi0 e OpenVLA
  • Gira in tempo reale a 30 Hz con soli 80 ms di latenza di inferenza su una sola GPU consumer NVIDIA RTX 4090, usando Flash Attention 2 e la precisione bfloat16
  • Usa una nuova architettura Mixture-of-Transformers che separa un modello vision-language Qwen3-VL da 4B parametri da un Diffusion Transformer a 16 strati per la generazione delle azioni
  • Preaddestrato su circa 200 milioni di passi temporali di traiettorie robotiche e oltre 80 milioni di campioni vision-language con un approccio in due fasi che preserva la comprensione multimodale
  • Completamente open source sotto Apache 2.0, con 6 varianti adattate con fine-tuning su HuggingFace, compatibile con l'ecosistema HuggingFace Transformers per un deployment e un fine-tuning semplici

A chi si rivolge

  • Ricercatori di robotica che studiano i modelli vision-language-action e le policy di manipolazione
  • Ingegneri dell'apprendimento robotico che hanno bisogno di un modello VLA ad alte prestazioni e in tempo reale da impiegare su hardware consumer
  • Laboratori accademici che lavorano su benchmark come LIBERO, CALVIN e SimplerEnv e hanno bisogno di una baseline solida o di un modello di confronto
  • Startup e aziende di robotica che cercano un foundation model con licenza Apache-2.0 da adattare con fine-tuning alle proprie piattaforme robotiche

Limiti

  • Dimostrato soprattutto su compiti di manipolazione da tavolo; non ancora validato per manipolazione mobile, locomozione o controllo di umanoidi sul corpo intero
  • Gli esperimenti nel mondo reale sono limitati alla piattaforma proprietaria a doppio braccio di Xiaomi; i risultati riportati dalla comunità su altro hardware stanno ancora emergendo
  • Richiede una GPU NVIDIA con supporto a Flash Attention 2 e almeno circa 10 GB di VRAM (classe RTX 4090); non ancora ottimizzato per dispositivi edge o inferenza solo su CPU
  • I dettagli dei dati di addestramento della componente di teleoperazione interna non sono stati resi del tutto pubblici, il che può limitare l'esatta riproducibilità della fase di preaddestramento

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.