RoboDojo

Manipulations-Benchmark, der in Isaac Sim und auf echten Armen läuft

Lizenz

MIT

Überblick

RoboDojo ist ein Benchmark für generalistische Manipulations-Policies, der Simulation und echte Hardware an einem Ort abdeckt: 42 Isaac-Sim-Aufgaben über fünf Fähigkeitsdimensionen und 18 Realwelt-Aufgaben auf Piper-X-, Piper- und ARX-X5-Armen. Brauchbar wird es durch XPolicyLab, das über 40 Policies hinter einer einzigen Schnittstelle vereint, sodass dieselbe Policy-Definition in der Simulation und auf einem echten Roboter läuft. Layouts sind zur Reproduzierbarkeit seed-kontrolliert, und ein einziger summarize-Befehl aggregiert Läufe zu einer Leaderboard-Tabelle.

Der Katalog führt bereits LIBERO, RLBench, Meta-World, CALVIN und SimplerEnv, und jedes davon endet beim Simulator. RoboDojos unterscheidender Anspruch ist, dass die reale Hälfte kein Nachgedanke ist: 18 Aufgaben auf drei realen Armplattformen stehen neben den 42 simulierten, unter derselben Policy-Schnittstelle. Ob der simulierte Wert einer Policy ihren realen vorhersagt, ist die Frage, die das Feld am dringendsten beantwortet braucht und am seltensten misst — ein Benchmark, der sie direkt stellt, ist es wert.

Praktisch trennt das Repository den Simulator-Unterbau samt Managern, die Umgebungskonfiguration für Simulator, Szene, Roboter und Kamera, die Aufgabenlogik samt YAML-Konfigurationen sowie XPolicyLab als Policy-Server und Integrationsschicht. Assets — Roboter, Objekte, Materialien und Layouts — werden heruntergeladen statt mitgeliefert. Die Dokumentationsseite gilt als maßgebliche Referenz und deckt Installation, schnelle Auswertung, das Einbinden neuer Policies in XPolicyLab, die Sim- und Realaufgabenlisten, Konfiguration und Fehlersuche ab — mehr Aufmerksamkeit für den Einstieg, als die meisten Benchmarks aufbringen.

Warum es wichtig ist

Simulierte Manipulations-Benchmarks sind leicht zu sättigen und schwer zu trauen geworden: eine Zahl auf LIBERO sagt wenig darüber, ob eine Policy auf einer Werkbank funktioniert. RoboDojo stellt beide Hälften unter eine Schnittstelle, sodass der Vergleich tatsächlich gezogen werden kann, und tut es mit über 40 bereits integrierten Policies — der Unterschied zwischen einem Benchmark, den man diese Woche nutzen kann, und einem, in den man seine Arbeit erst portieren müsste.

Welches Problem es löst

Manipulationsergebnisse werden in Simulation berichtet und auf Hardware ausgerollt, und niemand kann sagen, wie gut das eine das andere vorhersagt, weil beide mit unterschiedlichen Werkzeugen gemessen werden. RoboDojo stellt sie hinter eine Policy-Schnittstelle, sodass dasselbe an beiden Orten laufen kann.

Wichtigste Punkte

• 42 Isaac-Sim-Aufgaben über fünf Fähigkeitsdimensionen, dazu 18 Realwelt-Aufgaben auf Piper-X-, Piper- und ARX-X5-Armen
• XPolicyLab vereint 40+ Policies hinter einer Schnittstelle, dieselbe Definition läuft also in Simulation und auf echter Hardware
• Seed-kontrollierte Layouts und ein einziger summarize-Schritt aggregieren Läufe zu einer Leaderboard-Tabelle
• Sim und real sind als zwei Hälften eines Benchmarks entworfen, nicht als Simulator mit angehängter Realdemo
• Assets werden heruntergeladen statt mitgeliefert, das Repository bleibt damit leicht
• Die Dokumentationsseite ist die maßgebliche Referenz und behandelt das Einbinden neuer Policies, nicht nur das Ausführen vorhandener

Für wen

• Gruppen, die generalistische Manipulationsergebnisse berichten und neben der simulierten auch eine reale Zahl wollen
• Alle, die VLA-Policies vergleichen und es leid sind, dass jede Arbeit ihr eigenes Harness mitbringt
• Besitzer von Piper-, Piper-X- oder ARX-X5-Armen mit einer Policy zum Auswerten
• Forschende, die eine neue Policy einbinden und sie auf vielen Aufgaben zugleich laufen lassen wollen

Einschränkungen

• Die reale Hälfte verlangt bestimmte Hardware — Piper X, Piper oder ARX X5 — die meisten Leser können also nur die simulierten 42 fahren
• Isaac Sim ist eine schwere Abhängigkeit mit eigenen GPU-Anforderungen, und die Dokumentation hat nicht ohne Grund eine Seite zur Fehlersuche bei GPU-Speicher
• Assets müssen separat heruntergeladen werden, der Benchmark ist also nicht in sich geschlossen
• Das zugrunde liegende Paper (arXiv 2607.04434) ist ein Preprint ohne Veröffentlichungsort, der Entwurf des Benchmarks ist also nicht begutachtet
• Ein Leaderboard ist nur so gut wie seine Beteiligung, und die ist in diesem Alter unbewiesen
• XPolicyLab mit 40+ integrierten Policies ist eine Wartungslast, die sichtbar wird, sobald das Projekt langsamer wird