Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Newton

Offene GPU-Physik-Engine für Robot Learning, mit Kamino für geschlossene Gelenkketten

Lizenz

  • code: Apache 2.0
  • documentation: CC BY 4.0

Code: Apache-2.0, laut LICENSE.md in newton-physics/newton und den Metadaten des PyPI-Pakets. Dokumentation: CC BY 4.0, wie die README angibt. Robotermodelle und Szenen werden separat aus dem Repository newton-assets geladen und behalten ihre eigenen Lizenzen, meist Apache-2.0, BSD oder MIT; die Assets DR Legs und Testmechanismus von Disney Research, die zwei Kamino-Beispiele nutzen, dürfen nur für Forschung oder Softwareentwicklung verwendet werden. Geprüft am 2026-11-08 anhand von LICENSE.md, der README, PyPI und den Lizenzdateien der Assets.

Überblick

Newton ist eine Open-Source-Physik-Engine für Robotik und Simulationsforschung, die auf der GPU läuft. Gestartet wurde sie von Disney Research, Google DeepMind und NVIDIA, heute ist sie ein Projekt der Linux Foundation; sie baut auf NVIDIA Warp auf und nutzt MuJoCo Warp als wichtigstes Backend für Starrkörper. Eine Python-API bietet mehrere Solver für starre Roboter, Stoff, Kabel, weiche Körper und granulare Materialien, und Roboter lassen sich aus URDF-, MJCF- oder OpenUSD-Dateien laden. Isaac Lab kann Newton als Physik-Backend für Reinforcement Learning verwenden. Der Solver Kamino von Disney Research, vorgestellt auf der CoRL 2026, simuliert Roboter mit geschlossenen kinematischen Schleifen wie parallelen Beinen und Viergelenkgetrieben direkt auf der GPU, statt sie als Baum anzunähern. Newton steht unter Apache-2.0 und lässt sich über PyPI installieren.

Newton ist eine GPU-Physik-Engine für Robotiker und Simulationsforscher. Gestartet haben sie Disney Research, Google DeepMind und NVIDIA; 2025 wurde sie an die Linux Foundation übergeben, die sie seither unter offener Governance betreut. Newton ist in Python auf NVIDIA Warp geschrieben, das Python-Kernel für die GPU kompiliert, und ist aus dem älteren Simulationsmodul von Warp hervorgegangen. Das wichtigste Backend für Starrkörper ist MuJoCo Warp, die GPU-Version von MuJoCo, die Google DeepMind und NVIDIA gemeinsam entwickeln.

Die Idee: ein Modell und eine Simulationsschleife mit austauschbaren Solvern. Roboter werden in Python aufgebaut oder aus URDF-, MJCF- oder OpenUSD-Dateien importiert, und dasselbe Modell lässt sich mit dem MuJoCo-Solver rechnen, mit Featherstone-, XPBD- oder semi-impliziten Solvern für Mehrkörpersysteme, mit VBD für Stoff, Kabel und weiche Körper, mit einem impliziten MPM-Solver für Sand, Schnee und andere granulare Materialien, mit Style3D für Kleidung oder mit Kamino. Mehrere Solver lassen sich in einer Szene koppeln, einige unterstützen differenzierbare Simulation für gradientenbasierte Optimierung, und die Engine enthält Kollisionserkennung, Sensoren wie Kameras und IMUs, inverse Kinematik sowie Viewer für Desktop und Browser. Sie wird mit pip installiert und bringt mehr als hundert lauffähige Beispiele mit, von Pendeln und laufenden Vierbeinern bis zu Stoff und granularen Strömungen. Isaac Lab kann seine Umgebungen auf Newton ausführen, ebenso wie auf PhysX, sodass für Isaac Lab geschriebene Reinforcement-Learning-Aufgaben die Solver von Newton nutzen können; zu den Community-Projekten, die Newton verwenden, gehört RoboSimStudio.

Kamino: geschlossene kinematische Schleifen auf der GPU

Die meisten GPU-Simulatoren für Reinforcement Learning setzen voraus, dass ein Roboter ein kinematischer Baum ist. Viele echte Mechanismen sind das nicht: Parallelbeine, Viergelenkgetriebe in Knien und Greifern sowie Parallelkinematiken bilden geschlossene Schleifen, und üblicherweise wird jede Schleife zu einem Baum aufgeschnitten und mit einer Schließbedingung oder einem Mimic-Gelenk ergänzt, was Abstimmung erfordert und das Verhalten des Roboters verändern kann. Kamino, entwickelt bei Disney Research in Zürich mit NVIDIA und beschrieben in einem Paper auf der CoRL 2026, ist ein Newton-Solver, der solche Mechanismen so simuliert, wie sie sind. Jeder Körper behält seine eigene Pose; Gelenke, Gelenkgrenzen und reibungsbehaftete Kontakte werden gemeinsam als harte Nebenbedingungen mit einem proximalen ADMM-Verfahren gelöst, und ein Solver für Vorwärtskinematik bringt Roboter mit geschlossenen Schleifen beim Zurücksetzen einer Episode in eine konsistente Pose. Parallele Welten auf der GPU können zudem unterschiedliche Roboter enthalten, sodass sich eine Policy gleichzeitig über mehrere Körperformen trainieren lässt.

Im Paper trainierte Kamino eine Laufpolicy für DR Legs, einen Zweibeiner mit sechs verschachtelten kinematischen Schleifen, mit 4.096 parallelen Umgebungen auf einer GPU; bei elementaren Tests mit bekannten analytischen Lösungen, etwa einer rutschenden Kiste, einem springenden Ball und einem Viergelenkgetriebe, traf Kamino diese mit wenig Abstimmung, während die Solver MuJoCo Warp und XPBD Abstimmung brauchten oder Durchdringung, Wackeln oder vorzeitiges Rutschen zeigten. Die Autoren trainierten in Kamino außerdem Policies für Disneys Roboter BDX und Olaf und berichten, dass sie auf die physischen Roboter übertragbar waren (Sim-to-Real). Kamino wird wie jeder andere Newton-Solver ausgewählt, das DR-Legs-Modell und ein Viergelenk-Mechanismus gehören zu seinen Beispielen, und der Kamino-Leitfaden erklärt seine drei Dynamik-Backends.

Warum es wichtig ist

Newton ist eine Physikschicht, die Disney Research, Google DeepMind und NVIDIA gemeinsam und offen unter neutraler Governance entwickeln, statt dass jeder eine eigene Engine pflegt. Für Forschende heißt das: ein Python-Paket unter Apache-2.0, in dem der GPU-Solver von MuJoCo, Solver für Stoff, Kabel und Granulat sowie neuere Forschungssolver hinter einer Schnittstelle liegen, und Isaac Lab kann darauf ohne vollständige Isaac-Sim-Installation trainieren. Newton steht neben Genesis, einer weiteren GPU-Engine mit vielen Solvern, und mjlab, das die Isaac-Lab-API allein auf MuJoCo Warp setzt. Kamino bringt native Unterstützung für geschlossene Gelenkketten: Roboter damit, wie sie bei Laufrobotern und Greifern häufig vorkommen, lassen sich auf der GPU mit Reinforcement Learning trainieren, ohne sie zuerst als Baum nachzubauen. Es ist die genauere und die langsamere Option und noch experimentell, also eher für Mechanismen gedacht, die es brauchen, als für jeden Roboter.

Welches Problem es löst

GPU-Robotersimulatoren waren bisher an die Engine einer Firma und eine Physikmethode gebunden, und die meisten können geschlossene kinematische Schleifen nur mit Näherungen und Abstimmung simulieren. Newton stellt mehrere Solver hinter eine offene Python-Schnittstelle auf der GPU, und sein Solver Kamino simuliert Parallelbeine, Koppelgetriebe und andere Mechanismen mit geschlossenen Schleifen nativ, in dem Umfang, den Reinforcement Learning braucht.

Wichtigste Punkte

  • GPU-Physik-Engine in Python auf Basis von NVIDIA Warp, mit MuJoCo Warp als wichtigstem Starrkörper-Backend
  • Gestartet von Disney Research, Google DeepMind und NVIDIA, heute bei der Linux Foundation
  • Ein Modell und eine Schleife für viele Solver: MuJoCo, Featherstone, XPBD, VBD, implizites MPM, Style3D und Kamino
  • Importiert Roboter aus URDF, MJCF und OpenUSD; einige Solver unterstützen differenzierbare Simulation
  • Isaac Lab kann Newton als Physik-Backend für Reinforcement Learning nutzen
  • Kamino (CoRL 2026) simuliert geschlossene kinematische Schleifen und harte Kontakte nativ auf der GPU
  • Im Paper trainierte Kamino eine Laufpolicy für einen Zweibeiner mit sechs verschachtelten Schleifen in 4.096 parallelen Umgebungen
  • Apache-2.0, Installation über PyPI, mit mehr als hundert lauffähigen Beispielen

Für wen

  • Robot-Learning-Forschende, die Policies in massiv paralleler GPU-Simulation trainieren
  • Konstrukteure von Laufrobotern, Greifern und anderen Mechanismen mit Parallelkinematik oder Viergelenken
  • Nutzer von Isaac Lab und MuJoCo, die ein GPU-Backend mit mehr Solver-Auswahl suchen
  • Simulationsforschende, die einen eigenen Solver in eine gemeinsame, offene Engine einbringen wollen
  • Teams, die Stoff, Kabel, weiche Körper oder Granulat zusammen mit Robotern simulieren

Einschränkungen

  • Kamino ist als experimentell und Beta gekennzeichnet: Die Dokumentation rät davon ab, sich darauf zu verlassen, und API und Verhalten können sich ohne Ankündigung ändern; VBD ist ebenfalls experimentell
  • Kamino ist langsamer als die Solver MuJoCo Warp und XPBD: Im Paper schaffte es auf dem Roboter BDX etwa 25-mal weniger Samples pro Sekunde als MuJoCo Warp und lohnt sich daher nur für Mechanismen mit geschlossenen Schleifen
  • Von den Robotern im Paper ist nur DR Legs veröffentlicht; die Modelle von BDX, Olaf und Iron Man sind proprietär, und die Sim-to-Real-Ergebnisse auf BDX und Olaf stammen von den Autoren selbst und sind nach eigener Aussage begrenzt
  • GPU-Beschleunigung erfordert eine NVIDIA-GPU der Turing-Generation oder neuer mit aktuellem Treiber; unter macOS läuft Newton nur auf der CPU
  • Die GPU-Solver im Kamino-Paper rechnen mit 32-Bit-Gleitkommazahlen, MuJoCo auf der CPU dagegen mit 64-Bit
  • Ein junges, schnell wachsendes Projekt: Version 1.0 erschien 2026, Minor-Releases folgen etwa monatlich, und das Changelog markiert regelmäßig Teile der API als veraltet
  • Robotermodelle werden separat heruntergeladen und behalten ihre eigenen Lizenzen; die Assets von Disney Research für zwei Kamino-Beispiele, DR Legs und ein Testmechanismus, dürfen nur für Forschung oder Softwareentwicklung genutzt werden

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.