SimplerEnv
Framework di valutazione basato sulla simulazione per testare policy di manipolazione robotica per il mondo reale.
Licenza
MIT
Panoramica
SimplerEnv (SIMPLER) è un framework open source per valutare in simulazione policy di manipolazione robotica pensate per il mondo reale. Affronta un problema fondamentale della ricerca robotica: valutare in modo scalabile se policy di manipolazione generaliste (come RT-1, RT-1-X e Octo) funzioneranno bene sui robot reali senza costosi test fisici. Basato sul motore fisico SAPIEN e su ManiSkill2, fornisce ambienti simulati che riproducono fedelmente le configurazioni reali delle piattaforme Google Robot e WidowX.
Il framework adotta due approcci di valutazione. Visual Matching sovrappone immagini del mondo reale agli sfondi della simulazione, regolando le texture per ridurre il divario visivo. Variant Aggregation testa le policy su più varianti dell'ambiente con sfondi, illuminazione e distrattori diversi. Il progetto convalida questi approcci con circa 1.500 episodi di valutazione, mostrando una forte correlazione tra le prestazioni delle policy in simulazione e nel mondo reale.
Sviluppato da ricercatori di UC San Diego, Stanford, UC Berkeley e Google DeepMind, SimplerEnv fornisce un'API Gym, codice di inferenza già pronto per le policy, script di valutazione riproducibili e linee guida per aggiungere nuovi robot e ambienti. Una versione accelerata su GPU basata su ManiSkill3 offre una valutazione da 10 a 15 volte più veloce.
SimplerEnv fornisce una pipeline standardizzata per valutare in simulazione le policy di manipolazione robotica:
1. Configurazione degli ambienti: versioni simulate già pronte delle aree di lavoro di Google Robot e WidowX, con geometria, texture e configurazioni delle telecamere corrispondenti
2. Due metodi di valutazione: - Visual Matching: sovrappone immagini di sfondo del mondo reale e regola le texture di oggetti e robot per ridurre al minimo il divario visivo tra domini - Variant Aggregation: testa su più varianti dell'ambiente (sfondi, illuminazione, distrattori diversi) e fa la media dei risultati per una valutazione robusta
3. Inferenza delle policy: codice di inferenza integrato per le policy RT-1, RT-1-X e Octo, con un'API Gym standardizzata per aggiungere nuove policy
4. Validazione: il framework è stato convalidato con circa 1.500 episodi di valutazione nel mondo reale, mostrando una forte correlazione di Pearson tra i tassi di successo in simulazione e nel mondo reale
5. Metriche: introduce la metrica Mean Maximum Rank Violation (MMRV) accanto alle misure di correlazione standard
Presentato a CoRL 2024.
Perché è importante
SimplerEnv è il primo framework sistematico per valutare in simulazione le policy di manipolazione robotica con una correlazione convalidata rispetto alle prestazioni nel mondo reale. Man mano che la comunità robotica sviluppa policy generaliste più grandi (RT-1, Octo, OpenVLA), un'infrastruttura di valutazione scalabile diventa essenziale. SimplerEnv permette ai ricercatori di testare le policy senza accesso a robot fisici, riducendo drasticamente il costo e i tempi di sviluppo delle policy.
Il problema che risolve
Valutare se una policy di manipolazione robotica funzionerà nel mondo reale oggi richiede costosi test fisici. SimplerEnv offre un'alternativa basata sulla simulazione con una correlazione convalidata rispetto ai risultati reali, permettendo ai ricercatori di iterare sulle policy da 10 a 15 volte più velocemente e senza bisogno di accedere a hardware robotico fisico.
Punti chiave
- Correlazione sim-to-real convalidata con 1.500 episodi di valutazione sulle piattaforme Google Robot e WidowX
- Due approcci di valutazione: Visual Matching (sovrapposizione di texture) e Variant Aggregation (media su più ambienti)
- La valutazione accelerata su GPU tramite ManiSkill3 è da 10 a 15 volte più veloce della simulazione standard
- Introduce la metrica MMRV (Mean Maximum Rank Violation) per quantificare la fedeltà sim-to-real delle classifiche
- Collaborazione tra più istituzioni: UC San Diego, Stanford, UC Berkeley e Google DeepMind
A chi si rivolge
- Ricercatori di VLA e foundation model che valutano policy di manipolazione
- Laboratori di robotica senza accesso all'hardware Google Robot o WidowX
- Team che sviluppano policy di manipolazione generaliste e hanno bisogno di una valutazione scalabile
- Manutentori di benchmark che cercano protocolli di valutazione standardizzati
Limiti
- Al momento limitato alle sole piattaforme Google Robot e WidowX (Bridge)
- L'approccio Visual Matching richiede immagini di riferimento reali per ogni ambiente
- Il divario sim-to-real resta per i compiti che richiedono un controllo di forza fine o oggetti deformabili
- Richiede l'installazione di SAPIEN/ManiSkill, che può essere complessa su alcuni sistemi