Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

RoboVerse

Vereinheitlichte Meta-Plattform, die 11 Robotik-Simulatoren unter einer einzigen API zusammenfasst.

Lizenz

Apache-2.0

Überblick

RoboVerse ist eine einheitliche Plattform, ein Datensatz und ein Benchmark für skalierbares und generalisierbares Roboterlernen. Es stellt MetaSim bereit — eine simulatorunabhängige Abstraktionsschicht, die 11 Simulator-Backends (darunter MuJoCo, Isaac Lab, PyBullet, SAPIEN, Genesis, CoppeliaSim) hinter einer einzigen API kapselt. Enthalten sind vorkonfigurierte Roboter, 276 Aufgabenkategorien, 5.500+ Objekt-Assets und 510.000+ Trajektorien aus 18 bestehenden Benchmarks (RLBench, ManiSkill, LIBERO, Meta-World, robosuite). Integriert sind Trainingspipelines sowohl für Imitation Learning (ACT, Diffusion Policy, VLA) als auch für Reinforcement Learning (PPO, TD3, SAC).

RoboVerse ist ein umfassendes Open-Source-Framework, das Roboterlernen über Simulationsplattformen, Datensätze und Benchmarks hinweg vereinheitlicht. Entwickelt von einem Team von über 37 Forschern von UC Berkeley, Peking University, USC, Stanford, CMU und anderen führenden Institutionen — unter der Leitung von Pieter Abbeel und Jitendra Malik — adressiert RoboVerse das grundlegende Fragmentierungsproblem in der Robotiksimulation. Im Kern steht MetaSim, eine dreischichtige Infrastruktur, die diverse Simulationsumgebungen über ein simulatorunabhängiges Konfigurationssystem (MetaConfig) und eine standardisierte API in eine universelle Schnittstelle abstrahiert. MetaSim unterstützt 11 Simulator-Backends, darunter Isaac Lab, Isaac Gym, MuJoCo, SAPIEN, PyBullet, Genesis, cuRobo, PyRep/CoppeliaSim und Blender. Das Framework ist in drei Säulen organisiert: MetaSim (die zentrale Simulationsabstraktionsschicht), RoboVerse Pack (vorkonfigurierte Roboter, Aufgaben und Szenen-Assets mit über 5.500 Assets und 276 Aufgabenkategorien) und RoboVerse Learn (integrierte Lernalgorithmen für Imitations- und Reinforcement Learning). RoboVerse ermöglicht simulatorübergreifende Validierung, verkörperungsübergreifenden Transfer und hybride Simulation und stellt dabei über 510.000 Manipulationstrajektorien und mehr als 50 Millionen hochwertige Zustandsübergänge für das Training bereit. Akzeptiert bei RSS 2025 und unter Apache 2.0 lizenziert.

Warum es wichtig ist

RoboVerse adressiert den größten Engpass in der Forschung zum Roboterlernen: die Fragmentierung über Simulatoren, Datensätze und Evaluationsprotokolle hinweg. Vor RoboVerse mussten Forschende ihren Code beim Wechsel zwischen Simulatoren wie MuJoCo und Isaac Sim von Grund auf neu schreiben, was Reproduzierbarkeit nahezu unmöglich machte. Kein anderes Projekt bietet eine wirklich simulatorunabhängige Abstraktionsschicht, mit der man eine Policy in einem Simulator trainieren und nahtlos in anderen validieren kann. Indem RoboVerse 11 Simulator-Backends, 18 Benchmark-Datensätze und standardisierte Evaluationsprotokolle unter einer einzigen API vereint, ermöglicht es erstmals direkt vergleichbare Gegenüberstellungen von Algorithmen für Roboterlernen über verschiedene Simulations-Backends und Roboter-Embodiments hinweg.

Welches Problem es löst

Die Robotiksimulation ist stark fragmentiert: Jeder Simulator (MuJoCo, Isaac Sim, SAPIEN, PyBullet usw.) hat seine eigene API, sein eigenes Konfigurationsformat und eigene Datenkonventionen. Forscher müssen ganze Codebases umschreiben, wenn sie den Simulator wechseln, was plattformübergreifende Validierung unpraktisch und Reproduzierbarkeit nahezu unmöglich macht. Benchmark-Datensätze sind ebenso isoliert mit inkompatiblen Formaten. RoboVerse löst dies durch eine universelle Abstraktionsschicht, die die Schnittstelle zu allen wichtigen Simulatoren standardisiert, Datensatzformate vereinheitlicht und konsistente Benchmarks etabliert — sodass Forscher Code einmal schreiben und überall ausführen können, mit weniger als 5 % Rechenaufwand im Vergleich zur nativen Simulatorleistung.

Wichtigste Punkte

  • Vereint 11 Simulations-Backends (Isaac Lab, MuJoCo, SAPIEN, PyBullet, Genesis und weitere) unter einer einzigen API mit weniger als 5 % Overhead gegenüber der nativen Leistung
  • Bietet 276 Aufgabenkategorien, 5.500+ Assets, 510.000+ Manipulationstrajektorien und 50+ Millionen Zustandsübergänge für das Roboterlernen
  • Integriert 18 etablierte Benchmark-Datensätze (RLBench, ManiSkill, LIBERO, Meta-World, robosuite, GraspNet) in einem einheitlichen Format
  • Unterstützt simulatorübergreifende Validierung, Cross-Embodiment-Transfer und hybride Simulation, die verschiedene Physik-Engines kombiniert
  • Enthält RoboVerse Learn mit integrierten Algorithmen für Imitation Learning (ACT, Diffusion Policy, VLA) und Reinforcement Learning (PPO, TD3, SAC)
  • Ein neues Simulator-Backend erfordert über das MetaSimInterface nur etwa 300 Zeilen Code

Für wen

  • Robotikforscher, die an Imitationslernen, Reinforcement Learning und Sim-to-Real-Transfer arbeiten
  • Machine-Learning-Ingenieure, die Roboter-Foundation-Models bauen und umfangreiche, diverse Trainingsdaten benötigen
  • Akademische Labore, die reproduzierbare Benchmarks zum Vergleich von Algorithmen über Simulatoren hinweg benötigen
  • Robotik-Startups, die Simulationseinrichtungszeit und Datenerfassungskosten reduzieren möchten
  • Studenten und Lehrende, die Robotermanipulation und Policy-Training auf mehreren Plattformen erlernen

Einschränkungen

  • Erfordert eine NVIDIA GPU mit CUDA-Unterstützung; RTX 3090 oder besser wird für den vollen Funktionsumfang empfohlen
  • Isaac Sim-Backend erfordert spezifische NVIDIA-Treiber (525+) und RT-Core-GPUs mit 8 GB+ VRAM
  • Windows-Unterstützung noch nicht verfügbar — derzeit auf Ubuntu 20.04+ und macOS 12+ beschränkt
  • Großer Speicherbedarf (100 GB+ für vollständige Datensatz- und Simulatorinstallationen)
  • Die simulatorübergreifende Physikkonsistenz hängt von den jeweiligen Simulatorimplementierungen ab, die subtil unterschiedliche Verhaltensweisen erzeugen können
  • Noch im Alpha-Release (v1.0.0-alpha) — API kann sich ändern

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.