RoboSimStudio
Toolkit Real2Sim multifisico per la manipolazione robotica, regolato a mano o da agenti di programmazione
Licenza
Apache-2.0
Panoramica
Toolkit di simulazione open source dell'AUTOLAB della UC Berkeley e di NVIDIA per il Real2Sim della manipolazione robotica. Costruito sul motore fisico Newton, mantiene espliciti e modificabili il solver, il modello di contatto e i parametri del materiale di ogni oggetto, così una persona in uno studio nel browser o un agente di programmazione può regolare una simulazione finché non corrisponde al video del compito reale.
RoboSimStudio compone robot, oggetti e fisica in un'unica simulazione in cui le scelte di modellazione restano visibili: quale solver modella ciascun tipo di oggetto, come sono accoppiati i solver, il modello di contatto e i parametri del materiale. Per impostazione predefinita i robot articolati e i corpi rigidi girano su MuJoCo Warp all'interno di Newton, cavi e tessuti su Vertex Block Descent, e i corpi deformabili su motori esterni come SuperDex, co-simulati tramite lo scambio delle forze di contatto. Un'interfaccia robot comune copre Franka Panda, UR5e e bracci YAM singoli e bimanuali, con cinematica inversa tramite PyRoKi e pianificazione con rilevamento delle collisioni tramite cuRobo.
Le persone lavorano in uno studio nel browser costruito su Viser: gli oggetti possono essere trascinati e ispezionati, e parametri come rigidezza e smorzamento cambiano mentre la simulazione è in corso. Gli agenti di programmazione ottengono lo stesso ciclo tramite testo: ogni rollout è suddiviso in primitive di movimento e il simulatore riporta l'errore rispetto al bersaglio, il movimento degli oggetti, gli eventi di contatto, la presa o lo slittamento e l'avanzamento del compito. Il toolkit supporta anche la teleoperazione con ritorno di forza tramite un braccio leader GELLO a basso costo, così un operatore può sentire il contatto simulato. Gira su Linux x86-64, con o senza GPU NVIDIA.
Perché è importante
La manipolazione ricca di contatti è difficile da simulare fedelmente, e regolare un simulatore perché corrisponda alla realtà è di solito un lento processo per tentativi ed errori. RoboSimStudio trasforma questa regolazione in un ciclo interattivo sia per le persone sia per gli agenti di programmazione IA. Nello studio pilota degli autori, gli agenti di programmazione hanno costruito una simulazione multifisica di un compito bimanuale di pulizia con una spugna a partire da un video girato con uno smartphone in circa un'ora (uno in 56 minuti); un controller Graph-as-Policy è migliorato in quella simulazione da 0% a 100% di area pulita simulata in 14 iterazioni ed è poi stato eseguito sul robot reale.
Il problema che risolve
La manipolazione robotica coinvolge meccanica del contatto, dinamiche accoppiate, deformazione, rigidezza e attrito che nessun singolo modello fisico copre, e i simulatori di solito nascondono queste scelte nel codice. RoboSimStudio rende il solver, il modello di contatto e i parametri voci esplicite della scena, così possono essere modificati e confrontati con il comportamento reale senza riscrivere il compito.
Punti chiave
- Accoppia diversi solver fisici in un'unica scena: MuJoCo Warp per robot e corpi rigidi, Vertex Block Descent per cavi e tessuti, e motori esterni per i corpi deformabili
- Lo studio nel browser per le persone e un ciclo di feedback testuale per gli agenti di programmazione lavorano sulla stessa scena
- Gli autori ci hanno costruito 18 compiti di manipolazione ricca di contatti, dall'inserimento di un connettore USB-C alla gestione di tessuti e spugne
- La teleoperazione con ritorno di forza tramite un braccio leader GELLO permette a un operatore di sentire il contatto simulato
- Gira su macchine Linux con sola CPU; alcuni materiali richiedono una GPU NVIDIA
A chi si rivolge
- Ricercatori di apprendimento robotico che costruiscono simulazioni di compiti di manipolazione ricca di contatti
- Team che testano le policy in simulazione prima di eseguirle su bracci reali
- Sviluppatori che usano agenti di programmazione per costruire e regolare simulazioni a partire da video
Limiti
- Un sistema giovane: rilasciato il 14 ottobre 2026, e il trasferimento sim-to-real è stato valutato su un solo compito, giudicato principalmente a occhio
- Le simulazioni costruite dagli agenti sono limitate ai modelli di materiale, agli accoppiamenti fisici e agli asset robotici forniti dal toolkit
- La co-simulazione con motori fisici esterni aggiunge un sovraccarico computazionale
- Sviluppato e testato solo su Linux x86-64; macOS e Windows non sono testati
- Senza una GPU NVIDIA non è possibile simulare carta, nastro, spazzole, materiale granulare, liquidi, impasto e acqua