Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Runway Praxis-1

Le world action model à poids ouverts de Runway qui prédit vidéo et actions de robot

Licence

Apache 2.0

Code : Apache-2.0, lu dans le fichier LICENSE de runwayml/praxis-1-oss. Poids : Apache-2.0 sur les huit fiches de modèle de la collection de Runway (base, DROID, YAM, les deux versions NVFP4 et les trois versions LeRobot), aucune à accès restreint ; l'annonce de Runway précise que l'usage commercial est inclus. Jeux d'évaluation : Apache-2.0 sur la fiche du jeu de données praxis-1-eval. Dépendances gelées : le Wan2.2 VAE et l'encodeur de texte Qwen3.5-2B ne sont pas dans les dépôts de Runway ; tous deux sont sous Apache-2.0 sur leurs propres fiches Hugging Face. Ressources de simulation : téléchargées au premier lancement depuis MuJoCo Menagerie sous leurs propres licences : le bras Franka Apache-2.0, la pince Robotiq 2F-85 BSD-2-Clause et le bras YAM MIT. Vérifié le 2026-11-12 sur le fichier LICENSE et les fiches Hugging Face.

Aperçu

Runway Praxis-1 est un world action model à poids ouverts pour bras de robot, conçu par Runway, l'entreprise de vidéo par IA, et publié pour tous le 11 novembre 2026 sous Apache-2.0. Il repose sur le modèle de fondation vidéo de Runway : à chaque appel, il prédit les 1,6 secondes suivantes de vidéo des caméras et, en même temps, les actions du robot qui produisent cette vidéo. Le modèle compte 27,2B paramètres au total, un backbone vidéo mixture-of-experts dont environ 2,8B sont actifs par token, plus un petit expert d'actions. Trois checkpoints sont ouverts : un modèle de base à affiner pour un nouveau robot, une politique à un bras pour le bras Franka du montage DROID et une politique à deux bras pour les bras YAM, avec des versions NVFP4 des deux politiques pour les GPU NVIDIA récents. Runway publie le code d'inférence, de service, de simulation et d'affinage, LoRA compris, et le modèle fonctionne aussi comme politique LeRobot et dispose d'une recette d'affinage dans NeMo Automodel.

Runway a annoncé Praxis-1 en septembre 2026 et l'a publié le 11 novembre 2026, avec le code sur GitHub, les poids dans une collection Hugging Face et un rapport technique sur son site de recherche.

Praxis-1 est ce que Runway appelle un world action model : un modèle du monde vidéo qui produit aussi des actions de robot. À chaque appel, il lit la tâche sous forme de texte, les dernières images des caméras du robot et la pose du bras. Un backbone vidéo prédit le segment de vidéo suivant, et un petit expert d'actions lit les caractéristiques internes du backbone pour en déduire le mouvement qui le produit. Chaque appel renvoie 24 lignes d'actions à 15 Hz, soit 1,6 seconde de mouvement, avec la vidéo prédite ; le robot exécute le segment puis rappelle le modèle.

Le backbone est un diffusion transformer de 26,9B paramètres, dont environ 2,8B sont actifs par token parce que la plupart des couches sont des mixture-of-experts. L'expert d'actions ajoute environ 0,3B. Les images passent par le Wan2.2 VAE gelé et les instructions par l'encodeur de texte Qwen3.5-2B gelé, tous deux téléchargés à part.

Runway l'a entraîné en quatre étapes : d'abord son modèle vidéo généraliste, puis de la vidéo incarnée (58 % de vidéo égocentrique de personnes, 20 % de vidéo générale, 18 % de vidéo de robots réels et un peu de jeu vidéo), puis la vidéo et les actions ensemble, et enfin un robot à la fois.

Les checkpoints ouverts sont :

- praxis-1-base, le modèle issu de l'entraînement intermédiaire sans têtes d'action propres à un robot, le point de départ pour un nouveau robot. - praxis-1-droid, une politique à un bras pour le bras Franka avec une caméra extérieure et une caméra de poignet, affinée sur environ 277 heures de données DROID. - praxis-1-yam, une politique à deux bras pour les bras YAM avec une caméra en surplomb et deux caméras de poignet. - praxis-1-droid-nvfp4 et praxis-1-yam-nvfp4, les deux politiques après un entraînement tenant compte de la quantification pour des experts NVFP4 sur 4 bits.

Chaque checkpoint pèse 54,4 Go en bfloat16 et tourne sur un GPU de 80 Go comme un H100, où un appel prend environ 0,55 à 0,6 seconde. Avec NVFP4, la politique descend à 17,5 Go sur les GPU Blackwell, les cartes de classe RTX 5090 et Jetson Thor ; NVFP4 n'est pas disponible sur H100.

Le dépôt fournit un serveur de politique, une simulation MuJoCo des montages DROID et YAM avec des suites d'évaluation et deux recettes d'affinage : un affinage complet de la base pour un nouveau robot sur un nœud de 8 GPU, et LoRA sur praxis-1-droid pour une nouvelle tâche sur un GPU de 80 Go. LeRobot a ajouté Praxis-1 comme politique praxis le 11 novembre 2026 (guide LeRobot), avec les trois checkpoints convertis à son format, et NeMo Automodel de NVIDIA propose une recette d'affinage avec un tutoriel LIBERO.

Runway annonce 46,2 % de réussite sur le classement RoboLab-120 de NVIDIA pour la politique DROID, le meilleur world action model de ce classement à la publication. Affiné sur le robot RT-1 de Google, absent de ses données d'entraînement, il atteint 80,0 % sur SimplerEnv contre 52,4 % pour la politique RT-1 d'origine. Runway le montre aussi affiné sur des données communautaires du SO-101 ; ce checkpoint n'est pas encore publié.

Pourquoi c'est important

La plupart des politiques de robot ouvertes, comme les modèles VLA, apprennent à agir à partir de démonstrations sur robot, rares et coûteuses à enregistrer. Praxis-1 part d'un modèle vidéo entraîné surtout sur de la vidéo du quotidien et égocentrique, et les résultats de Runway suggèrent que cette avance se transfère à des robots qu'il n'a jamais vus, comme le robot RT-1 de Google. Comme Cosmos Policy de NVIDIA, bâti sur Cosmos Predict 2.5, c'est un modèle du monde ouvert qui agit comme politique de robot, et ses poids sont sous Apache-2.0, usage commercial autorisé. Pour qui dispose d'un montage Franka DROID, d'une paire de bras YAM ou de données LeRobot, il est utilisable dès le premier jour : télécharger un checkpoint, le lancer en simulation et, sur le montage DROID, l'adapter à une nouvelle tâche avec LoRA sur un seul GPU.

Le problème résolu

Entraîner une politique de robot qui généralise demande de grandes quantités de données de démonstration sur robot, et les collecter par téléopération est lent et coûteux. Praxis-1 déplace l'essentiel de l'apprentissage vers la vidéo : un modèle préentraîné sur de la vidéo générale et égocentrique sait déjà comment bougent les objets et les mains, si bien qu'un robot n'a besoin que d'un affinage léger sur ses propres données. Runway publie les poids, le code pour les exécuter sur de vrais robots ou en simulation, et les recettes pour les adapter à un nouveau bras, un nouveau montage de caméras ou une nouvelle tâche.

Points clés

  • Un world action model de 27,2B paramètres qui prédit ensemble la vidéo et les actions du robot
  • Bâti sur le modèle de fondation vidéo de Runway et entraîné surtout sur de la vidéo humaine et générale
  • Checkpoints ouverts : base, DROID Franka à un bras, YAM à deux bras et versions NVFP4
  • Tourne sur un GPU de 80 Go ; NVFP4 ramène la politique à 17,5 Go pour Blackwell et Jetson Thor
  • Recettes d'affinage dans le code natif, LeRobot et NeMo Automodel, dont LoRA sur un seul GPU
  • Code et poids sous Apache-2.0, usage commercial compris

Pour qui

  • Chercheurs en apprentissage robotique qui comparent world action models et politiques VLA
  • Équipes disposant d'un montage Franka DROID ou de bras YAM bimanuels qui veulent une politique prête
  • Développeurs qui adaptent une grande politique préentraînée à leur propre bras par LoRA ou affinage complet
  • Utilisateurs de LeRobot et de NeMo qui veulent un world action model dans les outils qu'ils utilisent déjà

Limites

  • Il faut un GPU de 80 Go de mémoire pour les checkpoints bfloat16 ; l'affinage complet natif de la base utilise 8 GPU de 80 Go, et LeRobot en demande au moins 4
  • NVFP4 modifie les actions : Runway a mesuré une réussite proche sur RoboLab-120 mais plus faible pour un checkpoint antérieur sur sa suite de simulation difficile, et il n'a pas encore tourné en boucle fermée sur des GPU de classe RTX 5090
  • Le checkpoint de base n'a pas de têtes d'action et ne fonctionne sur un robot qu'après affinage
  • Runway cite ses propres cas d'échec : saisir un objet ressemblant, instructions vagues et longues tâches données en un seul prompt
  • Les réglages d'échantillonnage ont été ajustés pour le Franka de DROID ; les autres robots ont besoin des leurs
  • Tous les résultats de benchmarks et sur robot réel sont des mesures de Runway, publiées le jour de la sortie
  • L'intégration LeRobot est récente : elle a été ajoutée le 11 novembre 2026, après la version 0.7.0 de LeRobot
  • Le Wan2.2 VAE et l'encodeur de texte Qwen3.5-2B sont des téléchargements séparés sous leurs propres licences Apache-2.0

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.