Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

NVIDIA Cosmos 3

NVIDIAs offene Weltmodelle: verstehen Szenen, erzeugen Video, planen Roboteraktionen

Lizenz

OpenMDW 1.1

Code und Gewichte: OpenMDW-1.1, gelesen aus den LICENSE-Dateien von NVIDIA/cosmos und NVIDIA/cosmos-framework und aus jeder hier aufgeführten Modellkarte; GitHub zeigt NOASSERTION nur, weil es diese Lizenz nicht erkennt. Sie erlaubt Nutzung, Änderung und Weitergabe, auch kommerziell, wenn Lizenztext und Hinweise erhalten bleiben, beschränkt die Ausgaben nicht und erlischt für alle, die mit der Behauptung klagen, das Modell verletze ein Patent oder Urheberrecht. Die Modellkarten sagen, dass die Modelle für kommerzielle und nichtkommerzielle Nutzung bereit sind. Guardrail: Der Schnellstart für Videoerzeugung braucht nvidia/Cosmos-1.0-Guardrail, das auf Hugging Face zugangsbeschränkt ist und unter der NVIDIA Open Model License steht. Datensatz: NVIDIA veröffentlicht seine Umwandlung Cosmos3-DROID unter OpenMDW-1.1; die ursprünglichen DROID-Daten stammen von ihren eigenen Autoren, prüfen Sie also auch deren Bedingungen. LeRobot: Der LeRobot-Code für diese Policies steht unter Apache-2.0. Geprüft am 2026-11-11 anhand der LICENSE-Dateien, der Modell- und Datensatzkarten auf Hugging Face und openmdw.ai.

Überblick

NVIDIA Cosmos 3 ist NVIDIAs aktuelle Familie offener Weltmodelle für Physical AI, veröffentlicht am 31. Mai 2026. Ein einziges Modell liest und schreibt Text, Bilder, Video, Ton und Roboteraktionen, sodass dieselben Gewichte eine Szene beschreiben, Video vom weiteren Verlauf erzeugen, die Wirkung einer Aktion simulieren, die Aktion hinter einer Veränderung ermitteln und als Roboter-Policy arbeiten können. Frühere Cosmos-Versionen verteilten diese Aufgaben auf getrennte Modelle wie Cosmos Predict, Cosmos Transfer und Cosmos Reason. Es gibt drei Basisgrößen: Cosmos3-Edge mit 4B Parametern für Jetson und andere Edge-Geräte, Cosmos3-Nano mit 16B für eine einzelne große GPU und Cosmos3-Super mit 64B für Rechenzentrums-GPUs. NVIDIA veröffentlicht außerdem nachtrainierte Beispiel-Checkpoints für Roboter-Policies, Fahr- und Robotersimulation sowie schnelle Bild- und Videoerzeugung, das Cosmos Framework für Training und Bereitstellung und ein Cookbook mit Rezepten. Code und Gewichte stehen unter OpenMDW-1.1, das kommerzielle Nutzung erlaubt; LeRobot 0.7 hat im November 2026 Nano und Edge als Roboter-Policies aufgenommen.

NVIDIA hat Cosmos 3 am 31. Mai 2026 veröffentlicht, mit Gewichten in einer Hugging-Face-Sammlung, Code auf GitHub und einem technischen Bericht (arXiv 2606.02800). Das Repository NVIDIA/cosmos ist das Zuhause der Familie: Es listet jedes Modell auf, verlinkt die Rezepte und nennt Cosmos 3 die aktuelle Modellfamilie.

Cosmos 3 ist ein Weltmodell: Es lernt, wie sich Szenen über die Zeit verändern, und kann deshalb vorhersagen und erzeugen, was als Nächstes geschieht. NVIDIA nennt es omnimodal, weil ein einziges Modell Text, Bilder, Video, Audio und Aktionen aufnimmt und erzeugt, und baut es als Mixture-of-Transformers. Einfach gesagt hat jede Schicht zwei Sätze von Gewichten, die sich einen Attention-Schritt teilen. Der Reasoner liest Text und Bilder und schreibt Text Token für Token, wie ein Vision-Language-Modell. Der Generator erzeugt Bilder, Video, Ton und Aktionen, indem er Schritt für Schritt Rauschen entfernt, wie ein Video-Diffusionsmodell. Da beide in einem Netz liegen, kann das Modell in Worten planen und dann das passende Video oder die passende Aktion erzeugen.

Drei Basismodelle sind offen:

- Cosmos3-Edge, 4B Parameter, am 20. Juli 2026 für Jetson AGX Orin, Jetson Thor und RTX Pro 6000 erschienen; es erzeugt Video in 256p und 480p, versteht Szenen und gibt Aktionen aus, hat aber keine Ton- und Transfer-Modi. - Cosmos3-Nano, 16B Parameter, für eine RTX Pro 6000, H100 oder B200; NVIDIA stellt es als Basismodell für das Nachtraining vor. - Cosmos3-Super, 64B Parameter, für Systeme mit H200, B200 und GB200, gedacht für höchste Qualität, synthetische Daten und als Lehrermodell für die Destillation.

Zusammen decken sie Text-zu-Bild, Text-zu-Video und Bild-zu-Video mit optionalem Ton ab, Video-Transfer aus Kanten-, Unschärfe-, Tiefen- oder Segmentierungskarten, die Vorhersage der nächsten Sekunden eines Videos, visuelle Fragebeantwortung und Grounding, Vorwärtsdynamik (das Video, das auf eine Aktion folgt), inverse Dynamik (die Aktion hinter einem Video) und Roboter-Policy. Die Aktionsseite unterstützt Kamerabewegung, Autos, egozentrische Handposen, ein- und zweiarmige Roboter und den Humanoiden von AgiBot.

Die Sammlung cosmos3-examples enthält nachtrainierte Checkpoints. Cosmos3-Nano-Policy-DROID und Cosmos3-Edge-Policy-DROID sind Roboter-Policies für den Franka-Arm des DROID-Aufbaus, trainiert auf Cosmos3-DROID, NVIDIAs Umwandlung von DROID in das LeRobot-Datensatzformat. Seit Oktober 2026 machen vier Simulations-Checkpoints aus Nano einen interaktiven Simulator, der Fahrvideo aus mehreren Kameras mit LiDAR erzeugt, die Sicht eines zweiarmigen Roboters während er handelt, oder fotorealistisches Video aus der Tiefen- oder Segmentierungsausgabe eines Simulators. Für Super gibt es 4-Step-Schülermodelle für Text-zu-Bild und Bild-zu-Video, und Nano und Super gibt es als FP8-Versionen.

Das Cosmos Framework trainiert und betreibt die Modelle: überwachtes Fine-Tuning, LoRA, Destillation und Reinforcement Learning, mit Inferenz über Diffusers, Transformers, vLLM, vLLM-Omni und SGLang; NVIDIA nennt außerdem TensorRT-LLM und NIM. Das Cosmos-Cookbook ordnet seine Rezepte nach Ziel und nach GPU-Budget. Seit LeRobot 0.7 vom 5. November 2026 sind Nano und Edge Policy-Typen in LeRobot: Der LeRobot-Leitfaden erklärt, wie die Policy die nächsten Videobilder und den nächsten Aktionsblock gemeinsam vorhersagt, und gibt Fine-Tuning-Rezepte für LIBERO, DROID und neue Roboter.

NVIDIAs Fahrmodelle Alpamayo 2 bauen auf Backbones von Cosmos 3 auf.

Warum es wichtig ist

Cosmos 3 ist die neueste Generation der NVIDIA-Cosmos-Modelle, die wir bereits als Cosmos Predict 2.5, ein Video-Weltmodell, und Cosmos Policy führen, das ein Cosmos-Videomodell zu einer Roboter-Policy nachtrainiert. Wo diese getrennte Modelle für Vorhersage, Transfer, Reasoning und Policy brauchten, beschreibt NVIDIA Cosmos 3 als ein Modell, das sie ersetzt; ein Team kann also mit denselben Gewichten verstehen, simulieren und handeln und eine Basis statt mehrerer nachtrainieren. Es ist zudem eines der wenigen offenen Foundation Models, das zugleich Videogenerator und Roboter-Policy ist: Wie NVIDIA Isaac GR00T lässt es sich zu einer Steuerung im Stil eines VLA-Modells feinabstimmen, sagt aber zusammen mit den Aktionen künftiges Video vorher. Mit Cosmos3-Edge bei 4B und der LeRobot-Integration lässt sich eine Policy auf einer GPU feinabstimmen, und NVIDIA berichtet, dass sie auf Jetson Thor läuft; damit rückt eine Weltmodell-Policy in die Reichweite von Forschungslaboren statt nur von Rechenzentren.

Welches Problem es löst

Teams, die Roboter und Fahrzeuge bauen, brauchen Modelle, die Szenen verstehen, Trainings- und Testdaten erzeugen, simulieren, was eine Aktion bewirkt, und die Maschine steuern; bisher hieß das getrennte Modelle mit getrenntem Trainingscode. Solche Modelle von Grund auf zu trainieren erfordert Videodaten und Rechenleistung, die nur wenige Gruppen haben. Cosmos 3 veröffentlicht eine offene Modellfamilie, die all das kann, in drei Größen von Edge-Geräten bis zu Rechenzentrums-GPUs, mit dem Code und den Rezepten, um sie auf den eigenen Roboter-, Fahrzeug- oder Kameradaten eines Teams nachzutrainieren.

Wichtigste Punkte

  • Ein omnimodales Modell liest und schreibt Text, Bilder, Video, Ton und Roboteraktionen
  • Drei offene Basisgrößen: Cosmos3-Edge 4B, Cosmos3-Nano 16B und Cosmos3-Super 64B
  • Vereint Aufgaben, die frühere Cosmos-Versionen auf die Modelle Predict, Transfer und Reason verteilten
  • Nachtrainierte Beispiele umfassen DROID-Roboter-Policies, Fahr- und Robotersimulation und schnelle Erzeugung
  • LeRobot 0.7 betreibt Nano und Edge als Roboter-Policies mit Rezepten für LIBERO und DROID
  • Code und Gewichte unter OpenMDW-1.1, das kommerzielle Nutzung erlaubt

Für wen

  • Forschende im Robot Learning, die eine Weltmodell-Policy oder einen Simulator nachtrainieren wollen
  • Teams für autonomes Fahren und Robotik, die synthetische oder Mehrkamera-Trainingsdaten erzeugen
  • Entwickler, die visuelles Reasoning oder Roboter-Policies auf Jetson und anderen Edge-Geräten einsetzen
  • LeRobot-Nutzer, die ein World Action Model auf den Daten ihres eigenen Roboters feinabstimmen wollen

Einschränkungen

  • Große GPUs außer bei Edge: Die Nachtrainings-Rezepte für Nano sind für 8 GPUs ausgelegt, NVIDIAs empfohlener Aufbau für Super nutzt 8 Rechenzentrums-GPUs, und volles Fine-Tuning von Nano in LeRobot braucht mindestens 4 GPUs mit 80 GB
  • Auf Jetson ist Edge viel langsamer als auf einer Rechenzentrums-GPU: NVIDIA misst etwa 6,3 s pro DROID-Policy-Schritt auf Jetson AGX Thor gegenüber etwa 1,4 s auf einer H100
  • Die Videoerzeugung im Schnellstart braucht das zugangsbeschränkte Modell Cosmos-1.0-Guardrail, das unter der NVIDIA Open Model License statt unter OpenMDW-1.1 steht
  • NVIDIA nennt Artefakte bei langen, hochaufgelösten oder physikalisch komplexen Ausgaben, etwa Objekte, die ihre Form ändern, und unplausible Bewegung, und sagt, dass sicherheitskritische Anwendungen mehr Validierung brauchen
  • Benchmark-Ranglisten, Erfolgsquoten der Policies und Geschwindigkeitswerte sind eigene Messungen von NVIDIA und LeRobot
  • Die LeRobot-Integration ist neu und erschien mit LeRobot 0.7 am 5. November 2026
  • Auf den Modellkarten ist nur BF16 getestet; andere Präzisionen außer den veröffentlichten FP8-Checkpoints werden offiziell nicht unterstützt
  • Cosmos3-DROID ist NVIDIAs Umwandlung des DROID-Datensatzes, der von 13 Institutionen gesammelt wurde und upstream eigene Bedingungen hat

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.