Rho
Il modello VLA aperto da 5B di Microsoft, già adattato a tre diffusi robot a due bracci
Licenza
MIT
Panoramica
Rho è una famiglia di modelli Vision-Language-Action (VLA) a pesi aperti per robot a due bracci di Microsoft Research, rilasciata a settembre 2026 con licenza MIT. Ogni modello ha circa 5 miliardi di parametri: un modello Vision-Language (VLM) della famiglia Phi da 4,68B, con addestramento aggiuntivo sul grounding fisico, unito a un esperto di azione da 542M basato su flow matching che produce circa un secondo di movimento dell'end effector alla volta. L'idea è adattare in due passi. Rho-base, preaddestrato su oltre 3.200 ore di dati robotici per lo più a due bracci, viene prima sottoposto a midtraining su circa 300 ore di un robot specifico. I checkpoint rilasciati lo hanno già fatto per I²RT YAM Box, UR AI Trainer e Franka FR3 Duo. Il fine-tuning sul compito richiede poi meno dimostrazioni. Il codice esegue il fine-tuning su dataset LeRobot, valuta su LIBERO e RoboEval e serve una policy tramite websocket. Tutti i pesi e i dataset sono su Hugging Face, e il metodo è descritto nel rapporto tecnico.
La maggior parte dei modelli VLA aperti viene preaddestrata in modo ampio e poi sottoposta a fine-tuning direttamente su un compito, così le dimostrazioni devono insegnare insieme il robot e il compito. La premessa di Rho è imparare prima il robot. Tra il preaddestramento e il fine-tuning sul compito si colloca una fase di midtraining sull'embodiment: due epoche su circa 280-300 ore di dati di un singolo robot, su decine di famiglie di compiti. Non serve a padroneggiare alcun compito, solo ad assorbire le telecamere, la cinematica, l'area di lavoro e le convenzioni di controllo di quel robot. Gli autori rilasciano quella fase già completata per tre piattaforme a due bracci molto diffuse, così un laboratorio che ne possiede una parte da un modello che conosce già il suo hardware.
Le prove a sostegno dell'idea stanno in confronti controllati più che in un singolo risultato di punta. Nel simulatore RoboTwin 2.0, il modello sottoposto a midtraining ha raggiunto lo stesso successo di Rho-base con metà delle dimostrazioni di fine-tuning, con il divario maggiore al budget di dati più piccolo. Su un FR3 Duo fisico, le stesse 150 dimostrazioni di inserimento di una spina hanno dato il 60% di successo partendo da Rho-base, il 76,7% dopo un'epoca di midtraining e l'86,7% con il checkpoint rilasciato a due epoche. Sul benchmark BusyBox della YAM Box, con circa 2.000 dimostrazioni, Rho-YAM-Box dopo il fine-tuning ha raggiunto il 90% complessivo, alla pari con π0.5 e davanti a GR00T N1.7 e MolmoAct2.
La release include anche una fase online. Una piccola policy latente all'interno del modello impara dagli interventi correttivi umani, mentre tutto il resto resta congelato. Nel rapporto, 15 episodi corretti hanno portato le configurazioni più difficili di assemblaggio di provette sull'FR3 Duo dal 30% al 70%. L'interfaccia di stato e azione è generica: fino a 32 dimensioni per passo, mascherate quando non usate. Così lo stesso modello può gestire il controllo dei giunti o dell'end effector, delta o target assoluti, e un braccio o due.
Perché è importante
La parte costosa dell'uso di un modello Vision-Language-Action (VLA) non è scaricarlo ma adattarlo al proprio robot e al proprio compito, il che di solito significa centinaia di dimostrazioni per compito. Rho sposta la parte di quel costo specifica del robot in un checkpoint pubblicato per tre piattaforme che molti laboratori possiedono già, con licenza MIT. Il rapporto sostiene l'affermazione con confronti controllati contro π0.5, GR00T N1.7 e MolmoAct2 su robot fisici. Offre inoltre ai VLA aperti una quarta famiglia seria, da un grande laboratorio, accanto a OpenPI, GR00T e MolmoAct.
Il problema che risolve
Il fine-tuning di un modello Vision-Language-Action (VLA) generico su un nuovo compito costringe le dimostrazioni a insegnare sia il robot sia il compito. Rho separa le due cose: il robot viene appreso una volta sola, in un checkpoint sottoposto a midtraining e rilasciato per tre piattaforme a due bracci, così il fine-tuning sul compito parte da un modello che conosce già l'hardware e richiede meno dimostrazioni. Una fase online leggera continua poi a migliorare una policy in uso a partire da una manciata di correzioni umane.
Punti chiave
- Modello VLA da 5B a pesi aperti: un modello Vision-Language (VLM) della famiglia Phi da 4,68B con addestramento sul grounding fisico più un esperto di azione da 542M basato su flow matching
- Rho-base è preaddestrato su oltre 3.200 ore di dati robotici per lo più bimanuali, poi sottoposto a midtraining in varianti per YAM Box, UR AI Trainer e FR3 Duo
- In RoboTwin 2.0 il modello sottoposto a midtraining ha eguagliato Rho-base con metà delle dimostrazioni di fine-tuning
- Rho-YAM-Box dopo il fine-tuning ha raggiunto il 90% su BusyBox, alla pari con π0.5 e davanti a GR00T N1.7 e MolmoAct2
- L'adattamento online da 15 episodi corretti ha portato le configurazioni di provette più difficili dell'FR3 Duo dal 30% al 70%
- Codice, pesi e dataset di fine-tuning con licenza MIT; fine-tuning su dataset LeRobot e servizio tramite websocket
A chi si rivolge
- Laboratori con una I²RT YAM Box, un UR AI Trainer o un Franka FR3 Duo che vogliono una policy di partenza già adattata
- Team che confrontano modelli VLA aperti sulla manipolazione bimanuale e hanno bisogno di una solida baseline con licenza MIT
- Ricercatori che studiano l'adattamento efficiente in termini di dati, il midtraining e l'apprendimento dalle correzioni umane
- Utenti di LeRobot che vogliono eseguire il fine-tuning di un modello VLA da 5B sui propri dataset
Limiti
- La miscela di preaddestramento da 3.200 ore e i dati di midtraining per ciascun robot non sono rilasciati; lo sono solo i checkpoint, il set BusyBox e i dati di fine-tuning per LIBERO e RoboEval
- Le varianti già adattate esistono solo per tre piattaforme a due bracci; qualsiasi altro robot parte da Rho-base e richiede un proprio midtraining o più dati sul compito
- I confronti sono degli autori stessi, sui loro robot e con i loro protocolli; la pagina del progetto stessa afferma che tre piattaforme e una manciata di benchmark non stabiliscono prestazioni generali
- Le policy per i compiti richiedono ancora da circa 100 a 300 dimostrazioni su un robot fisico; il midtraining le riduce, non le elimina
- Addestramento e inferenza richiedono una GPU CUDA e FlashAttention 2 compilato con un toolkit CUDA; la via Docker richiede circa 100 GB di spazio per la build
- Rilasciato alla fine di settembre 2026, quindi non c'è ancora un riscontro esterno