MuJoCo Playground
MuJoCo-Suite von Google DeepMind: in der Simulation trainieren, auf echten Armen nutzen
Lizenz
- code (the whole repository, including its copy of reaf-sim): Apache 2.0
- robot models (MuJoCo Menagerie: SO-101; YAM; WidowX AI and Unitree G1): Apache 2.0, MIT, BSD 3-Clause
Code: Apache-2.0, laut LICENSE, das das gesamte Repository einschließlich seiner Kopie von reaf-sim abdeckt. Robotermodelle werden aus MuJoCo Menagerie unter ihren eigenen freizügigen Lizenzen geladen: SO-101 Apache-2.0, YAM MIT, WidowX AI und Unitree G1 BSD-3-Clause. Das G1-Tracking-Beispiel nutzt Bewegungsclips, die separat geladen werden; die Motion-Capture-Daten von LAFAN1, aus denen sie übertragen wurden, stehen unter CC BY-NC-ND 4.0, also vor kommerzieller Nutzung diese Daten prüfen. Geprüft am 2026-11-09 anhand von LICENSE und den Lizenzen der Menagerie-Modelle.
Überblick
MuJoCo Playground ist eine Open-Source-Suite aus Roboterumgebungen und Hardware-Workflows des Robotik-Simulationsteams von Google DeepMind, aufgebaut auf MuJoCo, MuJoCo Warp und dem Umgebungs-Framework reaf-sim. Version 1.0, erschienen am 6. November 2026, baut es in PyTorch neu auf und stellt jedem Simulationsmodell eines Roboters einen Hardwaretreiber hinter derselben Schnittstelle zur Seite, sodass eine Aufgabe und eine trainierte Policy durch Ändern eines einzigen Flags in der Simulation oder auf dem echten Roboter laufen. Es bringt Reinforcement Learning in großen Batches mit RSL-RL, Leader-Follower-Teleoperation, Systemidentifikation, Zero-Shot-Übertragung von der Simulation in die Realität und eine Umgebung mit, in der ein Vision-Language-Modell einen Tischarm steuert. Die Arme SO-101 und i2rt YAM Pro werden in der Simulation und auf Hardware unterstützt, der Arm Trossen WidowX AI und der Humanoide Unitree G1 in der Simulation. Der Code steht unter der Lizenz Apache-2.0.
MuJoCo Playground ist eine Suite aus Roboterumgebungen, Aufgaben für Reinforcement Learning und Hardware-Workflows, aufgebaut auf MuJoCo, MuJoCo Warp und reaf-sim, der Simulationsseite von Google DeepMinds Robotics Environment Authoring Framework. Jede Umgebung ist in zwei Schichten geteilt. Eine Aufgabenschicht wandelt Aktionen in Befehle um und berechnet Beobachtungen, Belohnungen und Abbruchbedingungen, ohne je den privilegierten Zustand des Simulators zu sehen. Eine Geräteschicht nimmt diese Befehle entgegen und liefert Messwerte, von MuJoCo auf der CPU, MuJoCo Warp auf der GPU oder einem physischen Roboter. Weil die Aufgabenschicht nur mit der Geräteschicht spricht, laufen derselbe Aufgabencode und dieselbe trainierte Policy in der Simulation (--mode=sim) oder auf Hardware (--mode=real); der Leitfaden zu reaf-sim erklärt die Trennung.
Fünf Workflows sind dabei. Reinforcement Learning trainiert PPO-Policies mit RSL-RL über Tausende parallele simulierte Welten auf einer GPU, aus Zustand oder Kamerapixeln, für klassische Regelungsaufgaben, Manipulation und das Nachführen von Ganzkörperbewegungen bei Humanoiden; der Trainingsleitfaden nennt die Details, und der Schnellstart trainiert eine Cart-Pole-Balance-Policy in etwa 1 Minute auf einer CPU. Teleoperation steuert einen Follower-Arm über einen physischen Leader-Arm, in der Simulation oder auf Hardware, mit einem Fußpedal mit drei Tasten zum Starten und Bewerten von Episoden und MCAP-Logs, die sich in Rerun abspielen lassen, wie der Leitfaden zur Teleoperation zeigt. Die Systemidentifikation nutzt MuJoCos eigene Sysid-Werkzeuge, um Ankerträgheit, Reibung, Steifigkeit und Dämpfung der Gelenke an Trajektorien anzupassen, die am echten Arm aufgezeichnet wurden. Die Übertragung von der Simulation in die Realität lässt eine Policy mit Handgelenkkamera, die einen Würfel aufnimmt und in der Simulation mit Domain Randomization trainiert wurde, ohne weiteres Training auf dem physischen SO-101 laufen, während ein digitaler Zwilling in MuJoCo Studio den Arm live im Browser spiegelt. Die Agenten-Umgebung lässt ein Vision-Language-Modell einen Arm Zug um Zug steuern: Eine lokale Brücke liefert den Roboterzustand und ein annotiertes Bild der Handgelenkkamera, und das Modell antwortet mit einem Python-Plan aus Grundbausteinen der inversen Kinematik wie look_at, grasp und place.
Jeder Roboter hat ein eigenes Paket mit einem Simulationsmodell und, wo Hardware unterstützt wird, einem Treiber mit derselben Gelenkreihenfolge und Steuerschnittstelle. Die Arme SO-101 und i2rt YAM Pro laufen in der Simulation und auf Hardware, und das Hardware-Extra für den SO-101 installiert LeRobot für seine Feetech-Servos; der Arm Trossen WidowX AI und der Humanoide Unitree G1 laufen nur in der Simulation. Die Robotermodelle werden aus MuJoCo Menagerie geladen, und für SO-101 und YAM liegen bereits auf echter Hardware identifizierte Dynamikparameter bei. Das G1-Beispiel folgt Bewegungsclips im Stil von BeyondMimic. Hardwaretreiber sind optionale Extras, sodass eine reine Simulationsinstallation schlank bleibt. Das Paket heißt playground auf PyPI, braucht Python 3.12 oder 3.13, und seine Beispiele laufen direkt über uvx auf einer CPU oder auf NVIDIA-GPUs mit CUDA 12 oder 13.
Version 1.0 erschien am 6. November 2026 und ist ein Neubau, kein Update. Die frühere Version, die Forschungsvorschau von der RSS 2025, beschrieben in einem technischen Bericht von 2025, war eine Sammlung von GPU-Umgebungen für Reinforcement Learning in JAX auf MJX und blieb in der Simulation. Version 1.0 wechselt zu PyTorch, läuft auf MuJoCo oder MuJoCo Warp, ergänzt die gepaarten Simulations- und Hardwarepakete, Code für den Einsatz, Teleoperation, Systemidentifikation und die Agenten-Umgebung und rendert in MuJoCo Studio. Die Umgebungen in JAX und MJX liegen weiterhin im Ordner rss2025 des Repositorys und auf der Archivseite zur RSS 2025. Version 1.0.1 folgte am 8. November 2026 mit Korrekturen, aufgeführt im Changelog. Die Version 1.0 wird Baruch Tabanpour, Taylor Howell, Sam Haves, Saminda Abeyruwan, Tony Ma, Dan Suh und den Mitwirkenden des Projekts zugeschrieben, und das Startvideo zeigt jeden Workflow auf echten Armen.
Warum es wichtig ist
Die meisten Simulations-Frameworks enden bei einer trainierten Policy. Diese Policy auf einen echten Roboter zu bringen, verlangt einen zweiten Stack: Treiber, Kalibrierung, eine Einsatzschleife und einen Weg, den echten Arm mit seinem Modell zu vergleichen. MuJoCo Playground 1.0 liefert diese zweite Hälfte für zwei Arme mit, den SO-101, den günstigen offenen Arm, der mit LeRobot weit verbreitet ist, und den i2rt YAM Pro, und für beide deckt derselbe Aufgabencode Training, Datenerfassung per Teleoperation, Systemidentifikation und Einsatz ab. Für Leser unserer Seite zu MuJoCo ist es ein Weg vom Training mit MuJoCo Warp zur Hardware, gepflegt von Google DeepMind, das auch MuJoCo entwickelt. Für Nutzer von mjlab und Isaac Lab ist es ein weiterer Trainings-Stack für die GPU, mit weniger Aufgaben, aber mit eingebautem Einsatz. Besitzer eines SO-101 bekommen ein Simulationsmodell mit identifizierter Dynamik und ein funktionierendes Beispiel für Sim-to-Real für den Arm, den sie schon haben. Der Hardwarepfad ist erst wenige Tage alt und deckt zwei Arme ab, und das Versprechen, dass der Wechsel zwischen Simulation und Hardware nichts kostet, stammt vom Team selbst; bisher ist die einzige gelernte Policy, die nachweislich übertragen wurde, das Aufnehmen eines Würfels mit dem SO-101.
Welches Problem es löst
Eine Roboter-Policy in der Simulation zu trainieren und auf dem echten Roboter laufen zu lassen, bedeutet meist zwei Codebasen: die Umgebung des Simulators und einen eigenen Stack aus Treibern, Kalibrierung und Einsatzcode, der dieselben Beobachtungen und Aktionen nachbilden muss. MuJoCo Playground hält die Aufgabenlogik hinter einer Geräteschicht, die entweder der Simulator oder der Roboter ist, und liefert Treiber, Teleoperation, Systemidentifikation und Einsatzskripte für die unterstützten Arme mit, sodass dieselbe Aufgabe und Policy mit einem einzigen Flag zwischen Simulation und Hardware wechseln.
Wichtigste Punkte
- Suite von Google DeepMind aus Roboterumgebungen und Hardware-Workflows auf MuJoCo und MuJoCo Warp, für Version 1.0 in PyTorch neu aufgebaut
- Derselbe Aufgabencode und dieselbe trainierte Policy laufen in der Simulation oder auf dem echten Roboter, weil Aufgaben nur eine Geräteschicht sehen
- Workflows für Reinforcement Learning auf der GPU mit RSL-RL, Teleoperation, Systemidentifikation, Einsatz von Sim-to-Real und Steuerung durch ein Vision-Language-Modell
- Arme SO-101 und i2rt YAM Pro in der Simulation und auf Hardware; Trossen WidowX AI und Unitree G1 in der Simulation
- Roboter und Policies lassen sich live in MuJoCo Studio im Browser verfolgen
- Apache-2.0 und als playground von PyPI installierbar; die Version von der RSS 2025 in JAX und MJX bleibt im Repository
Für wen
- Nutzer von SO-101 und LeRobot, die in der Simulation trainieren und auf ihrem eigenen Arm einsetzen wollen
- Labore mit Armen von i2rt YAM, die dafür Simulation, Teleoperation und Systemidentifikation brauchen
- Forschende im Reinforcement Learning, die auf GPUs mit MuJoCo Warp und PyTorch trainieren
- Teams, die Agenten bauen, in denen ein Vision-Language-Modell einen Roboterarm steuert
Einschränkungen
- Die Hardwareunterstützung umfasst zwei Arme, den SO-101 und den i2rt YAM Pro; Trossen WidowX AI und Unitree G1 laufen nur in der Simulation
- Version 1.0 erschien am 6. November 2026 als Neubau, wurde also kaum von außen genutzt, und Version 1.0.1 vom 8. November 2026 hat die Geräteschnittstelle bereits geändert
- Das Zero-Shot-Beispiel für Sim-to-Real ist eine einzige Aufgabe, der SO-101 hebt einen Würfel auf; die übrigen Hardwarebeispiele sind Teleoperation, Systemidentifikation und Steuerung durch Agenten
- Die Agenten-Umgebung führt Python-Pläne, die das Vision-Language-Modell geschrieben hat, direkt auf dem Roboter aus, und die Dokumentation sagt, man nutze sie auf eigene Gefahr
- Das Tracking-Beispiel für den Unitree G1 braucht Bewegungsclips, die man selbst lädt, etwa die übertragenen LAFAN1-Clips, und die Motion-Capture-Daten von LAFAN1 stehen unter CC BY-NC-ND 4.0
- Training in großen Batches braucht eine NVIDIA-GPU mit CUDA 12 oder 13; auf einer CPU nutzt der Schnellstart 64 parallele Welten, und der Viewer unter macOS braucht mjpython
- Das README sagt, dass es kein offiziell unterstütztes Google-Produkt ist