RoboDojo

Banc de manipulation qui tourne dans Isaac Sim et sur de vrais bras

Licence

MIT

Aperçu

RoboDojo est un banc d'essai pour politiques de manipulation généralistes qui couvre simulation et matériel réel au même endroit : 42 tâches Isaac Sim réparties sur cinq dimensions de capacité, et 18 tâches du monde réel sur des bras Piper X, Piper et ARX X5. Ce qui le rend utilisable, c'est XPolicyLab, qui unifie plus de 40 politiques derrière une interface unique, si bien que la même définition tourne en simulation et sur un robot réel. Les agencements sont contrôlés par graine pour la reproductibilité, et une seule commande summarize agrège les exécutions en un tableau de classement.

Le catalogue porte déjà LIBERO, RLBench, Meta-World, CALVIN et SimplerEnv, et tous s'arrêtent au simulateur. La revendication distinctive de RoboDojo est que la moitié réelle n'est pas un ajout : 18 tâches sur trois plateformes de bras réels côtoient les 42 simulées, sous la même interface de politique. Savoir si le score simulé d'une politique prédit son score réel est la question dont le domaine a le plus besoin et qu'il mesure le moins, et un banc bâti pour la poser directement mérite d'exister.

En pratique, le dépôt sépare l'ossature du simulateur et ses gestionnaires, la configuration d'environnement pour simulateur, scène, robot et caméra, la logique de tâche et ses YAML, et XPolicyLab comme serveur de politiques et couche d'intégration. Les ressources — robots, objets, matériaux et agencements — sont téléchargées plutôt qu'embarquées. Le site de documentation fait office de référence canonique et couvre installation, évaluation rapide, intégration d'une nouvelle politique dans XPolicyLab, listes de tâches simulées et réelles, configuration et dépannage : plus d'attention au chemin de démarrage que n'en accordent la plupart des bancs.

Pourquoi c'est important

Les bancs de manipulation simulés sont devenus faciles à saturer et difficiles à croire : un chiffre sur LIBERO dit peu de chose sur le comportement d'une politique sur un établi. RoboDojo place les deux moitiés sous une même interface pour que la comparaison soit réellement possible, et le fait avec plus de 40 politiques déjà intégrées — la différence entre un banc utilisable cette semaine et un banc dans lequel il faudrait d'abord porter son travail.

Le problème résolu

Les résultats de manipulation sont rapportés en simulation et déployés sur du matériel, et personne ne peut dire dans quelle mesure les premiers prédisent les seconds, parce que les deux sont mesurés avec des outillages différents. RoboDojo les place derrière une interface de politique afin que la même chose puisse tourner aux deux endroits.

Points clés

• 42 tâches Isaac Sim sur cinq dimensions de capacité, plus 18 tâches du monde réel sur des bras Piper X, Piper et ARX X5
• XPolicyLab unifie plus de 40 politiques derrière une interface, la même définition tourne donc en simulation et sur matériel réel
• Des agencements contrôlés par graine et une unique étape summarize agrègent les exécutions en un tableau de classement
• Simulation et réel sont conçus comme les deux moitiés d'un banc, non comme un simulateur avec une démo réelle greffée
• Les ressources sont téléchargées plutôt qu'embarquées, ce qui garde le dépôt lui-même léger
• Le site de documentation est la référence canonique et traite de l'intégration de nouvelles politiques, pas seulement de l'exécution de celles qui existent

Pour qui

• Groupes qui rapportent des résultats de manipulation généraliste et veulent un chiffre réel à côté du chiffre simulé
• Quiconque compare des politiques VLA et en a assez que chaque article apporte son propre harnais
• Possesseurs de bras Piper, Piper X ou ARX X5 ayant une politique à évaluer
• Chercheurs intégrant une nouvelle politique et voulant l'exécuter sur de nombreuses tâches d'un coup

Limites

• La moitié réelle exige du matériel précis — Piper X, Piper ou ARX X5 — la plupart des lecteurs ne peuvent donc faire tourner que les 42 simulées
• Isaac Sim est une dépendance lourde avec ses propres exigences GPU, et la documentation comporte une page de dépannage de mémoire GPU pour une bonne raison
• Les ressources doivent être téléchargées séparément : le banc n'est pas autonome
• L'article sous-jacent (arXiv 2607.04434) est une prépublication sans lieu de publication, la conception du banc n'a donc pas été relue
• Un classement ne vaut que par sa participation, et à cet âge c'est non prouvé
• Que XPolicyLab intègre plus de 40 politiques est une charge de maintenance qui se verra si le projet ralentit