Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Runway Praxis-1

Runways Open-Weight World Action Model sagt Video und Roboteraktionen voraus

Lizenz

Apache 2.0

Code: Apache-2.0, gelesen aus der LICENSE-Datei von runwayml/praxis-1-oss. Gewichte: Apache-2.0 auf allen acht Modellkarten in Runways Sammlung (Basis, DROID, YAM, die zwei NVFP4-Versionen und die drei LeRobot-Versionen), keine davon zugangsbeschränkt; Runways Ankündigung sagt, dass kommerzielle Nutzung eingeschlossen ist. Evaluationssets: Apache-2.0 auf der Datensatzkarte von praxis-1-eval. Eingefrorene Abhängigkeiten: Das Wan2.2 VAE und der Text-Encoder Qwen3.5-2B liegen nicht in Runways Repositorys; beide stehen auf ihren eigenen Hugging-Face-Karten unter Apache-2.0. Simulations-Assets: beim ersten Start aus MuJoCo Menagerie unter ihren eigenen Lizenzen geladen: der Franka-Arm Apache-2.0, der Greifer Robotiq 2F-85 BSD-2-Clause und der YAM-Arm MIT. Geprüft am 2026-11-12 anhand der LICENSE-Datei und der Hugging-Face-Karten.

Überblick

Runway Praxis-1 ist ein Open-Weight World Action Model für Roboterarme von Runway, dem KI-Videounternehmen, am 11. November 2026 für alle unter Apache-2.0 veröffentlicht. Es baut auf Runways eigenem Foundation Model für Video auf: Bei jedem Aufruf sagt es die nächsten 1,6 Sekunden Kameravideo voraus und zusammen damit die Roboteraktionen, die dieses Video hervorbringen. Das Modell hat insgesamt 27,2B Parameter, ein Mixture-of-Experts-Video-Backbone, von dem pro Token etwa 2,8B aktiv sind, plus einen kleinen Action-Experten. Drei Checkpoints sind offen: ein Basismodell zum Feinabstimmen für einen neuen Roboter, eine Einarm-Policy für den Franka-Arm des DROID-Aufbaus und eine Zweiarm-Policy für die YAM-Arme, dazu NVFP4-Versionen der beiden Policies für neuere NVIDIA-GPUs. Runway veröffentlicht den Code für Inferenz, Serving, Simulation und Feinabstimmung einschließlich LoRA; das Modell läuft außerdem als LeRobot-Policy und hat ein Feinabstimmungsrezept für NeMo Automodel.

Runway hat Praxis-1 angekündigt im September 2026 und es veröffentlicht am 11. November 2026, mit Code auf GitHub, Gewichten in einer Hugging-Face-Sammlung und einem technischen Bericht auf seiner Forschungsseite.

Praxis-1 ist das, was Runway ein World Action Model nennt: ein Video-Weltmodell, das auch Roboteraktionen ausgibt. Bei jedem Aufruf liest es die Aufgabe als Text, die neuesten Bilder der Roboterkameras und die Pose des Arms. Ein Video-Backbone sagt den nächsten Videoabschnitt voraus, und ein kleiner Action-Experte liest die internen Merkmale des Backbones, um die Bewegung zu bestimmen, die ihn hervorbringt. Jeder Aufruf liefert 24 Aktionszeilen mit 15 Hz, also 1,6 Sekunden Bewegung, zusammen mit dem vorhergesagten Video; der Roboter führt den Abschnitt aus und ruft erneut auf.

Das Backbone ist ein Diffusion Transformer mit 26,9B Parametern, von denen pro Token etwa 2,8B aktiv sind, weil die meisten Schichten Mixture-of-Experts sind. Der Action-Experte bringt etwa 0,3B hinzu. Bilder laufen durch das eingefrorene Wan2.2 VAE und Anweisungen durch den eingefrorenen Text-Encoder Qwen3.5-2B; beide werden separat heruntergeladen.

Runway hat es in vier Stufen trainiert: zuerst sein allgemeines Videomodell, dann verkörpertes Video (58 % egozentrisches Video von Menschen, 20 % allgemeines Video, 18 % Video echter Roboter und etwas Gameplay), dann Video und Aktionen zusammen und zuletzt jeweils einen Roboter.

Die offenen Checkpoints sind:

- praxis-1-base, das zwischentrainierte Modell ohne roboterspezifische Aktionsköpfe, der Ausgangspunkt für einen neuen Roboter. - praxis-1-droid, eine Einarm-Policy für den Franka-Arm mit einer Außenkamera und einer Handgelenkkamera, feinabgestimmt auf etwa 277 Stunden DROID-Daten. - praxis-1-yam, eine Zweiarm-Policy für YAM-Arme mit einer Kamera von oben und zwei Handgelenkkameras. - praxis-1-droid-nvfp4 und praxis-1-yam-nvfp4, die beiden Policies nach quantisierungsbewusstem Training für NVFP4-Experten mit 4 Bit.

Jeder Checkpoint ist in bfloat16 54,4 GB groß und läuft auf einer GPU mit 80 GB wie einer H100, wo ein Aufruf etwa 0,55 bis 0,6 Sekunden dauert. Mit NVFP4 schrumpft die Policy auf 17,5 GB auf Blackwell-GPUs, Karten der RTX-5090-Klasse und Jetson Thor; auf der H100 ist NVFP4 nicht verfügbar.

Das Repository enthält einen Policy-Server, eine MuJoCo-Simulation der DROID- und YAM-Aufbauten mit Evaluationssuiten und zwei Rezepte zur Feinabstimmung: eine vollständige Feinabstimmung der Basis für einen neuen Roboter auf einem Knoten mit 8 GPUs und LoRA auf praxis-1-droid für eine neue Aufgabe auf einer GPU mit 80 GB. LeRobot hat Praxis-1 am 11. November 2026 als Policy praxis aufgenommen (LeRobot-Leitfaden), mit allen drei Checkpoints in seinem Format, und NVIDIAs NeMo Automodel hat ein Rezept zur Feinabstimmung mit einem LIBERO-Tutorial.

Runway meldet für die DROID-Policy 46,2 % Erfolg auf NVIDIAs RoboLab-120-Bestenliste, zur Veröffentlichung das beste World Action Model dort. Feinabgestimmt auf Googles RT-1-Roboter, der nicht in den Trainingsdaten war, erreichte es 80,0 % auf SimplerEnv gegenüber 52,4 % für die ursprüngliche RT-1-Policy. Runway zeigt es auch feinabgestimmt auf Community-Daten des SO-101; dieser Checkpoint ist noch nicht veröffentlicht.

Warum es wichtig ist

Die meisten offenen Roboter-Policies, etwa VLA-Modelle, lernen das Handeln aus Roboter-Demonstrationen, die knapp und teuer aufzuzeichnen sind. Praxis-1 startet von einem Videomodell, das vor allem auf Alltags- und egozentrischem Video trainiert ist, und Runways Ergebnisse deuten darauf hin, dass dieser Vorsprung auch für Roboter gilt, die es nie gesehen hat, etwa Googles RT-1-Roboter. Wie NVIDIAs Cosmos Policy, aufgebaut auf Cosmos Predict 2.5, ist es ein offenes Weltmodell, das als Roboter-Policy handelt, und seine Gewichte stehen unter Apache-2.0, kommerzielle Nutzung erlaubt. Wer einen Franka-DROID-Aufbau, ein Paar YAM-Arme oder LeRobot-Daten hat, kann es vom ersten Tag an nutzen: einen Checkpoint herunterladen, in der Simulation laufen lassen und es auf dem DROID-Aufbau mit LoRA auf einer GPU an eine neue Aufgabe anpassen.

Welches Problem es löst

Eine Roboter-Policy, die verallgemeinert, braucht große Mengen an Demonstrationsdaten von Robotern, und deren Erfassung per Teleoperation ist langsam und teuer. Praxis-1 verlagert den Großteil des Lernens auf Video: Ein Modell, das auf allgemeinem und egozentrischem Video vortrainiert ist, weiß bereits, wie sich Objekte und Hände bewegen, sodass ein Roboter nur eine leichte Feinabstimmung auf eigenen Daten braucht. Runway veröffentlicht die Gewichte, den Code, um sie auf echten Robotern oder in der Simulation auszuführen, und die Rezepte, um sie an einen neuen Arm, einen neuen Kameraaufbau oder eine neue Aufgabe anzupassen.

Wichtigste Punkte

  • Ein World Action Model mit 27,2B Parametern, das Video und Roboteraktionen gemeinsam vorhersagt
  • Basiert auf Runways Foundation Model für Video und ist vor allem auf Video von Menschen und allgemeinem Video trainiert
  • Offene Checkpoints: Basis, Einarm-DROID-Franka, Zweiarm-YAM und NVFP4-Versionen
  • Läuft auf einer GPU mit 80 GB; NVFP4 bringt die Policy auf 17,5 GB für Blackwell und Jetson Thor
  • Rezepte zur Feinabstimmung im nativen Code, in LeRobot und in NeMo Automodel, darunter LoRA auf einer GPU
  • Code und Gewichte unter Apache-2.0, kommerzielle Nutzung eingeschlossen

Für wen

  • Forschende im Roboterlernen, die World Action Models und VLA-Policies vergleichen
  • Teams mit einem Franka-DROID-Aufbau oder zweiarmigen YAM-Armen, die eine fertige Policy wollen
  • Entwickler, die eine große vortrainierte Policy mit LoRA oder vollständiger Feinabstimmung an ihren eigenen Arm anpassen
  • Nutzer von LeRobot und NeMo, die ein World Action Model in den Werkzeugen wollen, die sie schon verwenden

Einschränkungen

  • Braucht für die bfloat16-Checkpoints eine GPU mit 80 GB Speicher; die native vollständige Feinabstimmung der Basis nutzt 8 GPUs mit 80 GB, LeRobot verlangt mindestens 4
  • NVFP4 verändert die Aktionen: Runway maß auf RoboLab-120 einen ähnlichen Erfolg, aber für einen früheren Checkpoint einen geringeren Erfolg auf seiner schweren Simulationssuite, und auf GPUs der RTX-5090-Klasse lief es noch nicht im geschlossenen Regelkreis
  • Der Basis-Checkpoint hat keine Aktionsköpfe und läuft erst nach einer Feinabstimmung auf einem Roboter
  • Runway nennt eigene Fehlerfälle: Griff nach einem ähnlich aussehenden Objekt, vage Anweisungen und lange Aufgaben in einem einzigen Prompt
  • Die Sampling-Einstellungen wurden für den DROID-Franka abgestimmt; andere Roboter brauchen eigene
  • Alle Benchmark- und Realroboter-Ergebnisse sind Runways eigene Messungen, veröffentlicht am Tag der Freigabe
  • Die LeRobot-Integration ist neu: Sie kam am 11. November 2026 hinzu, nach dem Release von LeRobot 0.7.0
  • Das Wan2.2 VAE und der Text-Encoder Qwen3.5-2B sind separate Downloads unter ihren eigenen Apache-2.0-Lizenzen

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.