uni-robot-agent
Harness aperto che consente a modelli linguistici a pesi aperti di controllare robot tramite strumenti condivisi
Licenza
MIT
Panoramica
uni-robot-agent è un harness con licenza MIT per agenti robot-use: modelli linguistici che controllano un robot chiamando strumenti di percezione e movimento anziché produrre comandi per i giunti. Rilasciato dalla Tsinghua University e dalla UC Berkeley insieme all'articolo 'Democratizing Robot-Use Agents: A Unified Harness with Open Models' (novembre 2026), offre a ogni ambiente la stessa interfaccia degli strumenti, esegue gli agenti tramite i runtime di Codex o Claude Code o il proprio SDK Python, e registra ogni episodio per riprodurlo in una dashboard locale. La versione 0.2.0 (novembre 2026) elenca undici integrazioni di simulazione, tre delle quali sperimentali, e il robot reale ARX ONE; il supporto per Franka è annunciato ma non ancora rilasciato.
uni-robot-agent collega un modello linguistico dotato di visione a un robot tramite un unico insieme di strumenti condivisi. L'agente ragiona su immagini della telecamera, calibrazione e descrizione del robot, poi chiama strumenti di percezione (dalle immagini alle posizioni degli oggetti) e di movimento (dagli obiettivi alle azioni del robot); gli adattatori traducono quelle chiamate nell'API nativa di ciascun ambiente e restituiscono ricevute di esecuzione come feedback. Un esecutore sovrappone il ragionamento dell'agente all'esecuzione degli strumenti, mantenendo in ordine le azioni sullo stesso braccio. In modalità Direct l'agente guida il robot tramite questi strumenti; la modalità Hybrid affida il controllo di basso livello a un modello di azione compatibile come π₀.₅.
La release attuale (v0.2.0 su PyPI, 11 novembre 2026, Python 3.11+, host Linux con GPU per i simulatori) copre RoboDojo, un benchmark di manipolazione a due bracci; RoboUse, con compiti selezionati da LIBERO, RoboCasa, Meta-World, robosuite e ManiSkill più adattatori per MuJoCo Menagerie e Genesis; RoboLab, compiti DROID a braccio singolo in Isaac Lab; e integrazioni più recenti come RoboTwin 2.0 e CALVIN, con integrazioni Hybrid sperimentali per un manipolatore mobile su ruote, un umanoide e un quadrupede. Controlla anche un robot reale, ARX ONE: due bracci ARX X5 e tre telecamere RealSense D405. La versione 0.2.0 cambia i protocolli tra le sue parti (protocollo di ambiente 4, schema degli strumenti 8, HTTP degli attori v3), quindi il lato agente e i servizi di ambiente e degli attori vanno aggiornati insieme, e il pacchetto runtime per gli ambienti nativi deve stare in un ambiente Python separato dal pacchetto principale. Per impostazione predefinita funziona nell'impostazione realistica dell'articolo, senza fornire all'agente la profondità del simulatore né il feedback del verificatore dei compiti.
Nell'articolo, il modello a pesi aperti Qwen3.8-Flash-Next raggiunge zero-shot un RoboDojo Score di 31,39 tramite questo harness, contro 1,90 per lo stesso modello con il precedente harness RoboProbe e 28,97 per il risultato pubblicato di GPT-6 Astra con RoboProbe. Su 19 compiti con robot fisico ottiene 53,50, contro 47,75 per π₀.₅ con fine-tuning su 10 ore di dati per compito e 43,50 per Dream-1 zero-shot; gli autori notano che i loro agenti usavano la profondità del sensore D405 mentre entrambe le baseline usavano solo RGB.
Perché è importante
Gli agenti robot-use basati su modelli di frontiera come GPT-6 Astra hanno mostrato che un modello generale con buoni strumenti può manipolare oggetti zero-shot, ma i pesi chiusi impediscono ai ricercatori di addestrare quei modelli a migliorare in questo. uni-robot-agent mostra che i modelli a pesi aperti ottengono già risultati competitivi quando l'harness fornisce loro strumenti affidabili e un feedback informativo, e registra ogni episodio in un unico formato per tutti gli ambienti, che è ciò di cui ha bisogno l'addestramento di agenti robot-use aperti. L'analisi degli autori su generazioni, famiglie e dimensioni di modelli collega il successo a quattro capacità, cioè comprensione visiva, grounding spaziale, programmazione geometrica e ragionamento incarnato, fornendo obiettivi concreti al lavoro di addestramento. È pubblicato come pacchetto installabile con documentazione e non solo come codice di un articolo (GitHub).
Il problema che risolve
La ricerca sugli agenti robot-use è dipesa da modelli proprietari raggiunti tramite API a pagamento, da harness legati a un solo simulatore e da configurazioni che forniscono all'agente informazioni privilegiate del simulatore. uni-robot-agent offre un unico harness aperto con strumenti condivisi tra ambienti, esegue modelli a pesi aperti od ospitati tramite qualsiasi endpoint compatibile con Responses, limita l'agente alle informazioni che avrebbe un robot reale, e salva registrazioni delle interazioni riutilizzabili per l'addestramento.
Punti chiave
- Un'unica interfaccia degli strumenti per percezione, movimento, skill e controllo degli episodi su tutti i simulatori, con adattatori per l'API nativa di ciascun ambiente
- Esegue gli agenti tramite i runtime di Codex o Claude Code o un SDK Python, con qualsiasi endpoint di modello compatibile con Responses
- La modalità Direct guida il robot tramite strumenti; la modalità Hybrid aggiunge un modello di azione come π₀.₅
- Integrazioni di simulazione da RoboDojo, RoboUse e RoboLab a RoboTwin 2.0 e CALVIN e, dalla versione 0.2.0, il robot reale ARX ONE
- Risultato dell'articolo: il modello a pesi aperti Qwen3.8-Flash-Next ottiene zero-shot 31,39 su RoboDojo, sopra il risultato pubblicato di GPT-6 Astra con RoboProbe di 28,97
A chi si rivolge
- Ricercatori che addestrano o valutano modelli a pesi aperti come agenti robot-use
- Gruppi di apprendimento robotico che confrontano agenti basati su modelli linguistici con policy VLA sugli stessi compiti
- Sviluppatori che vogliono guidare robot simulati da un LLM tramite un SDK Python documentato
- Chi costruisce benchmark e aggiunge nuovi ambienti dietro un'interfaccia degli strumenti condivisa
Limiti
- Il supporto per Franka, usato insieme ad ARX ONE per i 19 compiti reali dell'articolo, è ancora indicato come in arrivo; ARX ONE è supportato dalla versione 0.2.0
- I simulatori richiedono un host Linux con GPU supportato, e il pacchetto di base non installa simulatori né checkpoint di modelli di azione
- I risultati dipendono dal modello collegato; l'agente ha bisogno di un modello dotato di visione dietro un endpoint compatibile con Responses, il che per i modelli ospitati significa costi per chiamata
- Ancora giovane (0.2.0, novembre 2026), e la 0.2.0 ha già cambiato i protocolli: client e servizi vanno aggiornati insieme e i servizi precedenti non sono compatibili
- Il confronto nel mondo reale non è alla pari: gli agenti usavano la profondità del sensore mentre le baseline π₀.₅ e Dream-1 usavano solo RGB