Runway Praxis-1
El world action model de pesos abiertos de Runway que predice vídeo y acciones
Licencia
Apache 2.0
Código: Apache-2.0, leído en el archivo LICENSE de runwayml/praxis-1-oss. Pesos: Apache-2.0 en las ocho fichas de modelo de la colección de Runway (base, DROID, YAM, las dos versiones NVFP4 y las tres versiones para LeRobot), ninguna con acceso restringido; el anuncio de Runway dice que el uso comercial está incluido. Conjuntos de evaluación: Apache-2.0 en la ficha del dataset praxis-1-eval. Dependencias congeladas: el Wan2.2 VAE y el codificador de texto Qwen3.5-2B no están en los repositorios de Runway; ambos son Apache-2.0 en sus propias fichas de Hugging Face. Recursos de simulación: se descargan en la primera ejecución desde MuJoCo Menagerie bajo sus propias licencias: el brazo Franka Apache-2.0, la pinza Robotiq 2F-85 BSD-2-Clause y el brazo YAM MIT. Comprobado el 2026-11-12 con el archivo LICENSE y las fichas de Hugging Face.
Resumen
Runway Praxis-1 es un world action model de pesos abiertos para brazos robóticos de Runway, la empresa de vídeo con IA, publicado para todos el 11 de noviembre de 2026 bajo Apache-2.0. Se basa en el propio modelo fundacional de vídeo de Runway: en cada llamada predice los siguientes 1,6 segundos de vídeo de las cámaras y, junto con ellos, las acciones del robot que producen ese vídeo. El modelo tiene 27,2B parámetros en total, un backbone de vídeo mixture-of-experts del que unos 2,8B están activos por token, más un pequeño experto de acciones. Hay tres checkpoints abiertos: un modelo base para ajustar a un robot nuevo, una política de un brazo para el brazo Franka de la configuración DROID y una política de dos brazos para los brazos YAM, con versiones NVFP4 de las dos políticas para GPU NVIDIA más recientes. Runway publica el código de inferencia, servicio, simulación y ajuste fino, incluido LoRA, y el modelo también funciona como política de LeRobot y tiene una receta de ajuste fino en NeMo Automodel.
Runway anunció Praxis-1 en septiembre de 2026 y lo publicó el 11 de noviembre de 2026, con código en GitHub, pesos en una colección de Hugging Face y un informe técnico en su sitio de investigación.
Praxis-1 es lo que Runway llama un world action model: un modelo del mundo de vídeo que también produce acciones de robot. En cada llamada lee la tarea como texto, los últimos fotogramas de las cámaras del robot y la pose del brazo. Un backbone de vídeo predice el siguiente fragmento de vídeo, y un pequeño experto de acciones lee las características internas del backbone para deducir el movimiento que lo produce. Cada llamada devuelve 24 filas de acciones a 15 Hz, 1,6 segundos de movimiento, junto con el vídeo predicho; el robot ejecuta el fragmento y vuelve a llamar.
El backbone es un transformador de difusión con 26,9B parámetros, de los que unos 2,8B están activos por token porque la mayoría de las capas son mixture-of-experts. El experto de acciones añade unos 0,3B. Las imágenes pasan por el Wan2.2 VAE congelado y las instrucciones por el codificador de texto Qwen3.5-2B congelado, ambos descargados por separado.
Runway lo entrenó en cuatro etapas: primero su modelo general de vídeo, luego vídeo corporizado (58 % vídeo egocéntrico de personas, 20 % vídeo general, 18 % vídeo de robots reales y un poco de gameplay), después vídeo y acciones juntos y, por último, un robot cada vez.
Los checkpoints abiertos son:
- praxis-1-base, el modelo de entrenamiento intermedio sin cabezales de acción específicos de un robot, el punto de partida para un robot nuevo. - praxis-1-droid, una política de un brazo para el brazo Franka con una cámara exterior y una de muñeca, ajustada con unas 277 horas de datos de DROID. - praxis-1-yam, una política de dos brazos para brazos YAM con una cámara cenital y dos cámaras de muñeca. - praxis-1-droid-nvfp4 y praxis-1-yam-nvfp4, las dos políticas tras un entrenamiento consciente de la cuantización para expertos NVFP4 de 4 bits.
Cada checkpoint ocupa 54,4 GB en bfloat16 y funciona en una GPU de 80 GB como una H100, donde una llamada tarda unos 0,55 a 0,6 segundos. Con NVFP4 la política se reduce a 17,5 GB en GPU Blackwell, tarjetas de la clase RTX 5090 y Jetson Thor; NVFP4 no está disponible en la H100.
El repositorio incluye un servidor de políticas, una simulación en MuJoCo de las configuraciones DROID y YAM con suites de evaluación y dos recetas de ajuste fino: un ajuste completo de la base para un robot nuevo en un nodo de 8 GPU y LoRA sobre praxis-1-droid para una tarea nueva en una GPU de 80 GB. LeRobot añadió Praxis-1 como la política praxis el 11 de noviembre de 2026 (guía de LeRobot), con los tres checkpoints convertidos a su formato, y NeMo Automodel de NVIDIA tiene una receta de ajuste fino con un tutorial de LIBERO.
Runway informa de un 46,2 % de éxito en la clasificación RoboLab-120 de NVIDIA para la política DROID, el mejor world action model de esa clasificación en el momento de la publicación. Ajustado sobre el robot RT-1 de Google, que no estaba en sus datos de entrenamiento, alcanzó un 80,0 % en SimplerEnv frente al 52,4 % de la política RT-1 original. Runway también lo muestra ajustado con datos de la comunidad del SO-101; ese checkpoint aún no se ha publicado.
Por qué importa
La mayoría de las políticas abiertas para robots, como los modelos VLA, aprenden a actuar a partir de demostraciones con robots, que son escasas y caras de grabar. Praxis-1 parte de un modelo de vídeo entrenado sobre todo con vídeo cotidiano y egocéntrico, y los resultados de Runway sugieren que esa ventaja se mantiene en robots que nunca ha visto, como el robot RT-1 de Google. Como Cosmos Policy de NVIDIA, construido sobre Cosmos Predict 2.5, es un modelo del mundo abierto que actúa como política de robot, y sus pesos están bajo Apache-2.0 con uso comercial permitido. Quien tenga una configuración Franka DROID, un par de brazos YAM o datos de LeRobot puede usarlo desde el primer día: descargar un checkpoint, ejecutarlo en simulación y, en la configuración DROID, adaptarlo a una tarea nueva con LoRA en una GPU.
Qué problema resuelve
Entrenar una política de robot que generalice exige grandes cantidades de datos de demostración con robots, y recogerlos por teleoperación es lento y costoso. Praxis-1 traslada la mayor parte del aprendizaje al vídeo: un modelo preentrenado con vídeo general y egocéntrico ya sabe cómo se mueven los objetos y las manos, así que un robot solo necesita un ajuste fino ligero con sus propios datos. Runway publica los pesos, el código para ejecutarlos en robots reales o en simulación y las recetas para adaptarlos a un brazo, una configuración de cámaras o una tarea nuevos.
Puntos clave
- Un world action model de 27,2B parámetros que predice vídeo y acciones de robot a la vez
- Basado en el modelo fundacional de vídeo de Runway y entrenado sobre todo con vídeo de personas y vídeo general
- Checkpoints abiertos: base, DROID Franka de un brazo, YAM de dos brazos y versiones NVFP4
- Funciona en una GPU de 80 GB; NVFP4 deja la política en 17,5 GB para Blackwell y Jetson Thor
- Recetas de ajuste fino en el código nativo, LeRobot y NeMo Automodel, incluido LoRA en una GPU
- Código y pesos bajo Apache-2.0, uso comercial incluido
Para quién es
- Investigadores de aprendizaje robótico que comparan world action models y políticas VLA
- Equipos con una configuración Franka DROID o brazos YAM bimanuales que quieren una política lista
- Desarrolladores que adaptan una gran política preentrenada a su propio brazo con LoRA o ajuste fino completo
- Usuarios de LeRobot y NeMo que quieren un world action model en las herramientas que ya usan
Limitaciones
- Necesita una GPU con 80 GB de memoria para los checkpoints en bfloat16; el ajuste completo nativo de la base usa 8 GPU de 80 GB, y LeRobot pide al menos 4
- NVFP4 cambia las acciones: Runway midió un éxito similar en RoboLab-120 pero menor para un checkpoint anterior en su suite de simulación difícil, y todavía no se ha probado en lazo cerrado en GPU de la clase RTX 5090
- El checkpoint base no tiene cabezales de acción y no funciona en un robot hasta que se ajusta
- Runway nombra sus propios casos de fallo: alcanzar un objeto parecido, instrucciones vagas y tareas largas dadas en un solo prompt
- Los ajustes de muestreo se afinaron para el Franka de DROID; otros robots necesitan los suyos
- Todos los resultados de benchmarks y de robots reales son mediciones propias de Runway, publicadas el día del lanzamiento
- La integración en LeRobot es nueva: se añadió el 11 de noviembre de 2026, después de la versión 0.7.0 de LeRobot
- El Wan2.2 VAE y el codificador de texto Qwen3.5-2B se descargan aparte bajo sus propias licencias Apache-2.0