RoboSimStudio
Boîte à outils multiphysique Real2Sim pour la manipulation robotique, ajustée à la main ou par des agents de codage
Licence
Apache-2.0
Aperçu
Boîte à outils de simulation open source de l'AUTOLAB de UC Berkeley et de NVIDIA pour le Real2Sim de la manipulation robotique. Construite sur le moteur physique Newton, elle garde explicites et modifiables le solveur, le modèle de contact et les paramètres de matériau de chaque objet, afin qu'une personne dans un studio dans le navigateur ou un agent de codage puisse ajuster une simulation jusqu'à ce qu'elle corresponde à une vidéo de la tâche réelle.
RoboSimStudio assemble robots, objets et physique en une seule simulation dans laquelle les choix de modélisation restent visibles : quel solveur modélise chaque type d'objet, comment les solveurs sont couplés, le modèle de contact et les paramètres de matériau. Par défaut, les robots articulés et les corps rigides tournent sur MuJoCo Warp au sein de Newton, les câbles et les tissus sur Vertex Block Descent, et les corps mous sur des moteurs externes comme SuperDex, co-simulés par échange de forces de contact. Une interface robot commune prend en charge Franka Panda, UR5e et les bras YAM simples et bimanuels, avec la cinématique inverse via PyRoKi et la planification tenant compte des collisions via cuRobo.
Les humains travaillent dans un studio dans le navigateur construit sur Viser : les objets peuvent être déplacés et inspectés, et des paramètres comme la rigidité et l'amortissement peuvent être modifiés pendant que la simulation tourne. Les agents de codage disposent de la même boucle sous forme de texte : chaque rollout est découpé en primitives de mouvement et le simulateur rapporte l'erreur par rapport à la cible, le mouvement des objets, les événements de contact, la saisie ou le glissement, ainsi que la progression de la tâche. La boîte à outils prend aussi en charge la téléopération à retour d'effort avec un bras leader GELLO à bas coût, afin qu'un opérateur puisse ressentir le contact simulé. Elle fonctionne sous Linux x86-64, avec ou sans GPU NVIDIA.
Pourquoi c'est important
La manipulation riche en contacts est difficile à simuler fidèlement, et ajuster un simulateur pour qu'il corresponde à la réalité relève généralement d'un lent processus d'essais et d'erreurs. RoboSimStudio transforme cet ajustement en une boucle interactive, aussi bien pour les humains que pour les agents de codage IA. Dans l'étude pilote des auteurs, des agents de codage ont construit en environ une heure (l'un en 56 minutes) une simulation multiphysique d'une tâche bimanuelle d'essuyage à l'éponge à partir d'une vidéo de smartphone ; un contrôleur Graph-as-Policy est passé dans cette simulation de 0 % à 100 % de surface essuyée simulée en 14 itérations, puis a fonctionné sur le robot réel.
Le problème résolu
La manipulation robotique fait intervenir la mécanique du contact, des dynamiques couplées, la déformation, la rigidité et le frottement, qu'aucun modèle physique ne couvre à lui seul, et les simulateurs cachent généralement ces choix dans le code. RoboSimStudio fait du solveur, du modèle de contact et des paramètres des entrées explicites de la scène, afin de pouvoir les modifier et les comparer au comportement réel sans réécrire la tâche.
Points clés
- Couple plusieurs solveurs physiques dans une même scène : MuJoCo Warp pour les robots et les corps rigides, Vertex Block Descent pour les câbles et les tissus, et des moteurs externes pour les corps mous
- Un studio dans le navigateur pour les humains et une boucle de rétroaction textuelle pour les agents de codage travaillent sur la même scène
- Les auteurs ont construit avec elle 18 tâches de manipulation riches en contacts, de l'insertion d'un connecteur USB-C à la manipulation de tissus et d'éponges
- La téléopération à retour d'effort avec un bras leader GELLO permet à un opérateur de ressentir le contact simulé
- Fonctionne sur des machines Linux avec CPU uniquement ; certains matériaux nécessitent un GPU NVIDIA
Pour qui
- Chercheurs en apprentissage robotique qui construisent des simulations de tâches de manipulation riches en contacts
- Équipes qui testent des politiques en simulation avant de les exécuter sur de vrais bras
- Développeurs qui utilisent des agents de codage pour construire et ajuster des simulations à partir de vidéos
Limites
- Un système jeune : publié le 14 octobre 2026, et le transfert de la simulation au réel a été évalué sur une seule tâche, jugé principalement à l'œil
- Les simulations construites par des agents se limitent aux modèles de matériaux, aux couplages physiques et aux assets de robots que fournit la boîte à outils
- La co-simulation avec des moteurs physiques externes ajoute une surcharge de calcul
- Développée et testée uniquement sous Linux x86-64 ; macOS et Windows ne sont pas testés
- Sans GPU NVIDIA, le papier, le ruban adhésif, les brosses, les matériaux granulaires, les liquides, la pâte et l'eau ne peuvent pas être simulés