RoboDojo

Benchmark di manipolazione che funziona in Isaac Sim e su bracci reali

Licenza

MIT

Panoramica

RoboDojo è un benchmark per policy di manipolazione generaliste che copre in un unico luogo la simulazione e l'hardware reale: 42 compiti in Isaac Sim su cinque dimensioni di capacità e 18 compiti reali sui bracci Piper X, Piper e ARX X5. L'elemento che lo rende utilizzabile è XPolicyLab, che riunisce più di 40 policy dietro un'unica interfaccia, così la stessa definizione di policy funziona in simulazione e su un robot reale. Le disposizioni sono controllate da seed per la riproducibilità e un unico comando summarize aggrega le esecuzioni in una tabella di classifica.

Il catalogo contiene già LIBERO, RLBench, Meta-World, CALVIN e SimplerEnv, e tutti si fermano al simulatore. L'elemento distintivo di RoboDojo è che la metà reale non è un ripensamento: 18 compiti su tre piattaforme di bracci reali affiancano i 42 simulati, con la stessa interfaccia per le policy. Se il punteggio simulato di una policy predica il suo punteggio reale è la domanda a cui il settore ha più bisogno di rispondere e che misura più di rado, e un benchmark costruito per porla direttamente vale la pena di averlo.

In pratica, il repository separa il nucleo del simulatore e i manager, la configurazione dell'ambiente per simulatore, scena, robot e telecamera, la logica dei compiti e le configurazioni YAML dei compiti, e XPolicyLab come server delle policy e livello di integrazione. Le risorse (robot, oggetti, materiali e disposizioni) vengono scaricate anziché incluse nel repository. Il sito della documentazione è considerato il riferimento canonico e copre installazione, valutazione rapida, integrazione di una nuova policy in XPolicyLab, gli elenchi dei compiti simulati e reali, configurazione e risoluzione dei problemi: più attenzione al percorso iniziale di quanta ne dedichi la maggior parte dei benchmark.

Perché è importante

I benchmark di manipolazione simulati sono diventati facili da saturare e difficili da considerare affidabili: un numero su LIBERO dice poco sul fatto che una policy funzionerà su un banco di lavoro. RoboDojo mette entrambe le metà sotto un'unica interfaccia, così il confronto si può fare davvero, e lo fa con oltre 40 policy già integrate: è la differenza tra un benchmark che si può usare questa settimana e uno in cui bisognerebbe prima portare il proprio lavoro.

Il problema che risolve

I risultati di manipolazione vengono riportati in simulazione e messi in funzione su hardware, e nessuno può dire quanto i primi predicano i secondi, perché i due vengono misurati con strumenti diversi. RoboDojo li mette dietro un'unica interfaccia per le policy, così la stessa cosa può essere eseguita in entrambi i luoghi.

Punti chiave

• 42 compiti in Isaac Sim su cinque dimensioni di capacità, più 18 compiti reali sui bracci Piper X, Piper e ARX X5
• XPolicyLab riunisce oltre 40 policy dietro un'unica interfaccia, così la stessa definizione funziona in simulazione e su hardware reale
• Disposizioni controllate da seed e un passaggio summarize con un solo comando aggregano le esecuzioni in una tabella di classifica
• Simulazione e realtà sono progettate come due metà di un unico benchmark, non come un simulatore con una demo reale aggiunta
• Le risorse vengono scaricate anziché incluse, il che mantiene leggero il repository stesso
• Il sito della documentazione è il riferimento canonico e copre l'integrazione di nuove policy, non solo l'esecuzione di quelle esistenti

A chi si rivolge

• Gruppi che pubblicano risultati di manipolazione generalista e vogliono un numero su robot reale accanto a quello simulato
• Chiunque confronti policy VLA e sia stanco che ogni articolo usi il proprio sistema di valutazione
• Proprietari di bracci Piper, Piper X o ARX X5 con una policy da valutare
• Ricercatori che integrano una nuova policy e vogliono eseguirla su molti compiti contemporaneamente

Limiti

• La metà reale richiede hardware specifico (Piper X, Piper o ARX X5), quindi la maggior parte dei lettori può eseguire solo i 42 compiti simulati
• Isaac Sim è una dipendenza pesante con requisiti GPU propri, e non a caso la documentazione ha una pagina di risoluzione dei problemi per la memoria GPU
• Le risorse vanno scaricate separatamente, quindi il benchmark non è autosufficiente
• L'articolo alla base (arXiv 2607.04434) è un preprint senza sede di pubblicazione, quindi il design del benchmark non è passato per una revisione
• Una classifica vale quanto la sua partecipazione, e a questo stadio è ancora da dimostrare
• L'integrazione di oltre 40 policy in XPolicyLab è un onere di manutenzione che si farà sentire se il progetto rallenta