Runway Praxis-1
Il world action model a pesi aperti di Runway che prevede video e azioni del robot
Licenza
Apache 2.0
Codice: Apache-2.0, letto nel file LICENSE di runwayml/praxis-1-oss. Pesi: Apache-2.0 su tutte e otto le schede dei modelli della collezione di Runway (base, DROID, YAM, le due versioni NVFP4 e le tre versioni LeRobot), nessuna ad accesso limitato; l'annuncio di Runway dice che l'uso commerciale è incluso. Set di valutazione: Apache-2.0 sulla scheda del dataset praxis-1-eval. Dipendenze congelate: il Wan2.2 VAE e l'encoder di testo Qwen3.5-2B non sono nei repository di Runway; entrambi sono Apache-2.0 sulle proprie schede Hugging Face. Risorse di simulazione: scaricate al primo avvio da MuJoCo Menagerie con le proprie licenze: il braccio Franka Apache-2.0, la pinza Robotiq 2F-85 BSD-2-Clause e il braccio YAM MIT. Verificato il 2026-11-12 sul file LICENSE e sulle schede Hugging Face.
Panoramica
Runway Praxis-1 è un world action model a pesi aperti per bracci robotici di Runway, l'azienda di video con IA, pubblicato per tutti l'11 novembre 2026 con licenza Apache-2.0. Si basa sul foundation model video di Runway: a ogni chiamata prevede gli 1,6 secondi successivi del video delle telecamere e, insieme, le azioni del robot che producono quel video. Il modello ha 27,2B parametri in totale, un backbone video mixture-of-experts di cui circa 2,8B sono attivi per token, più un piccolo esperto delle azioni. Tre checkpoint sono aperti: un modello base da adattare a un nuovo robot, una policy a un braccio per il braccio Franka della configurazione DROID e una policy a due bracci per i bracci YAM, con versioni NVFP4 delle due policy per le GPU NVIDIA più recenti. Runway pubblica il codice per inferenza, serving, simulazione e fine-tuning, LoRA compreso, e il modello funziona anche come policy di LeRobot e ha una ricetta di fine-tuning in NeMo Automodel.
Runway ha annunciato Praxis-1 a settembre 2026 e lo ha pubblicato l'11 novembre 2026, con il codice su GitHub, i pesi in una collezione Hugging Face e un rapporto tecnico sul suo sito di ricerca.
Praxis-1 è ciò che Runway chiama world action model: un modello del mondo video che produce anche azioni del robot. A ogni chiamata legge il compito come testo, gli ultimi fotogrammi delle telecamere del robot e la posa del braccio. Un backbone video prevede il segmento di video successivo, e un piccolo esperto delle azioni legge le caratteristiche interne del backbone per ricavare il movimento che lo produce. Ogni chiamata restituisce 24 righe di azioni a 15 Hz, 1,6 secondi di movimento, insieme al video previsto; il robot esegue il segmento e chiama di nuovo.
Il backbone è un diffusion Transformer da 26,9B parametri, di cui circa 2,8B attivi per token perché la maggior parte dei livelli è mixture-of-experts. L'esperto delle azioni aggiunge circa 0,3B. Le immagini passano per il Wan2.2 VAE congelato e le istruzioni per l'encoder di testo Qwen3.5-2B congelato, entrambi scaricati a parte.
Runway lo ha addestrato in quattro fasi: prima il suo modello video generale, poi video incarnato (58% video egocentrico di persone, 20% video generale, 18% video di robot reali e un po' di gameplay), poi video e azioni insieme e infine un robot alla volta.
I checkpoint aperti sono:
- praxis-1-base, il modello dell'addestramento intermedio senza teste di azione specifiche per un robot, il punto di partenza per un nuovo robot. - praxis-1-droid, una policy a un braccio per il braccio Franka con una telecamera esterna e una al polso, adattata su circa 277 ore di dati DROID. - praxis-1-yam, una policy a due bracci per bracci YAM con una telecamera dall'alto e due telecamere al polso. - praxis-1-droid-nvfp4 e praxis-1-yam-nvfp4, le due policy dopo un addestramento consapevole della quantizzazione per esperti NVFP4 a 4 bit.
Ogni checkpoint occupa 54,4 GB in bfloat16 e gira su una GPU da 80 GB come una H100, dove una chiamata richiede circa 0,55-0,6 secondi. Con NVFP4 la policy scende a 17,5 GB su GPU Blackwell, schede di classe RTX 5090 e Jetson Thor; su H100 NVFP4 non è disponibile.
Il repository contiene un server della policy, una simulazione MuJoCo delle configurazioni DROID e YAM con suite di valutazione e due ricette di fine-tuning: un fine-tuning completo della base per un nuovo robot su un nodo di 8 GPU e LoRA su praxis-1-droid per un nuovo compito su una GPU da 80 GB. LeRobot ha aggiunto Praxis-1 come policy praxis l'11 novembre 2026 (guida di LeRobot), con tutti e tre i checkpoint convertiti nel suo formato, e NeMo Automodel di NVIDIA ha una ricetta di fine-tuning con un tutorial LIBERO.
Runway riporta il 46,2% di successo nella classifica RoboLab-120 di NVIDIA per la policy DROID, il miglior world action model della classifica al momento della pubblicazione. Adattato al robot RT-1 di Google, assente dai suoi dati di addestramento, ha raggiunto l'80,0% su SimplerEnv contro il 52,4% della policy RT-1 originale. Runway lo mostra anche adattato a dati della comunità del SO-101; quel checkpoint non è ancora pubblicato.
Perché è importante
La maggior parte delle policy aperte per robot, come i modelli Vision-Language-Action (VLA), impara ad agire da dimostrazioni con robot, scarse e costose da registrare. Praxis-1 parte da un modello video addestrato soprattutto su video quotidiani ed egocentrici, e i risultati di Runway suggeriscono che questo vantaggio si trasferisce a robot che non ha mai visto, come il robot RT-1 di Google. Come Cosmos Policy di NVIDIA, costruito su Cosmos Predict 2.5, è un modello del mondo aperto che agisce come policy del robot, e i suoi pesi sono sotto Apache-2.0 con uso commerciale consentito. Chi ha una configurazione Franka DROID, una coppia di bracci YAM o dati LeRobot può usarlo dal primo giorno: scaricare un checkpoint, eseguirlo in simulazione e, sulla configurazione DROID, adattarlo a un nuovo compito con LoRA su una sola GPU.
Il problema che risolve
Addestrare una policy per robot che generalizzi richiede grandi quantità di dati di dimostrazione con robot, e raccoglierli per teleoperazione è lento e costoso. Praxis-1 sposta gran parte dell'apprendimento sul video: un modello preaddestrato su video generali ed egocentrici sa già come si muovono oggetti e mani, quindi a un robot basta un fine-tuning leggero sui propri dati. Runway pubblica i pesi, il codice per eseguirli su robot reali o in simulazione e le ricette per adattarli a un nuovo braccio, a una nuova configurazione di telecamere o a un nuovo compito.
Punti chiave
- Un world action model da 27,2B parametri che prevede insieme video e azioni del robot
- Basato sul foundation model video di Runway e addestrato soprattutto su video di persone e video generali
- Checkpoint aperti: base, DROID Franka a un braccio, YAM a due bracci e versioni NVFP4
- Gira su una GPU da 80 GB; NVFP4 porta la policy a 17,5 GB per Blackwell e Jetson Thor
- Ricette di fine-tuning nel codice nativo, in LeRobot e in NeMo Automodel, compreso LoRA su una sola GPU
- Codice e pesi sotto Apache-2.0, uso commerciale compreso
A chi si rivolge
- Ricercatori di apprendimento robotico che confrontano world action model e policy VLA
- Team con una configurazione Franka DROID o bracci YAM bimanuali che vogliono una policy pronta
- Sviluppatori che adattano una grande policy preaddestrata al proprio braccio con LoRA o fine-tuning completo
- Utenti di LeRobot e NeMo che vogliono un world action model negli strumenti che già usano
Limiti
- Serve una GPU con 80 GB di memoria per i checkpoint bfloat16; il fine-tuning completo nativo della base usa 8 GPU da 80 GB, e LeRobot ne chiede almeno 4
- NVFP4 cambia le azioni: Runway ha misurato un successo simile su RoboLab-120 ma più basso per un checkpoint precedente sulla sua suite di simulazione difficile, e non è ancora stato provato a ciclo chiuso su GPU di classe RTX 5090
- Il checkpoint base non ha teste di azione e non funziona su un robot finché non viene adattato
- Runway indica i propri casi di errore: andare verso un oggetto simile, istruzioni vaghe e compiti lunghi dati in un solo prompt
- Le impostazioni di campionamento sono state tarate per il Franka di DROID; altri robot hanno bisogno delle proprie
- Tutti i risultati di benchmark e su robot reali sono misure di Runway, pubblicate il giorno del rilascio
- L'integrazione in LeRobot è nuova: è stata aggiunta l'11 novembre 2026, dopo il rilascio di LeRobot 0.7.0
- Il Wan2.2 VAE e l'encoder di testo Qwen3.5-2B si scaricano a parte con le proprie licenze Apache-2.0