Runway Praxis-1
O world action model de pesos abertos da Runway que prevê vídeo e ações de robô
Licença
Apache 2.0
Código: Apache-2.0, lido no arquivo LICENSE de runwayml/praxis-1-oss. Pesos: Apache-2.0 nas oito fichas de modelo da coleção da Runway (base, DROID, YAM, as duas versões NVFP4 e as três versões para LeRobot), nenhuma com acesso restrito; o anúncio da Runway diz que o uso comercial está incluído. Conjuntos de avaliação: Apache-2.0 na ficha do dataset praxis-1-eval. Dependências congeladas: o Wan2.2 VAE e o codificador de texto Qwen3.5-2B não estão nos repositórios da Runway; ambos são Apache-2.0 em suas próprias fichas no Hugging Face. Recursos de simulação: baixados na primeira execução do MuJoCo Menagerie sob suas próprias licenças: o braço Franka Apache-2.0, a garra Robotiq 2F-85 BSD-2-Clause e o braço YAM MIT. Verificado em 2026-11-12 com o arquivo LICENSE e as fichas do Hugging Face.
Visão geral
Runway Praxis-1 é um world action model de pesos abertos para braços robóticos da Runway, a empresa de vídeo com IA, liberado para todos em 11 de novembro de 2026 sob Apache-2.0. Ele se baseia no modelo fundacional de vídeo da própria Runway: a cada chamada, prevê os próximos 1,6 segundos de vídeo das câmeras e, junto com eles, as ações do robô que produzem esse vídeo. O modelo tem 27,2B parâmetros no total, um backbone de vídeo mixture-of-experts do qual cerca de 2,8B ficam ativos por token, mais um pequeno especialista de ações. Três checkpoints são abertos: um modelo base para ajustar a um robô novo, uma política de um braço para o braço Franka da configuração DROID e uma política de dois braços para os braços YAM, com versões NVFP4 das duas políticas para GPUs NVIDIA mais novas. A Runway publica o código de inferência, serviço, simulação e ajuste fino, incluindo LoRA, e o modelo também roda como política do LeRobot e tem uma receita de ajuste fino no NeMo Automodel.
A Runway anunciou o Praxis-1 em setembro de 2026 e o liberou em 11 de novembro de 2026, com código no GitHub, pesos em uma coleção do Hugging Face e um relatório técnico em seu site de pesquisa.
O Praxis-1 é o que a Runway chama de world action model: um modelo de mundo de vídeo que também gera ações de robô. A cada chamada ele lê a tarefa como texto, os quadros mais recentes das câmeras do robô e a pose do braço. Um backbone de vídeo prevê o próximo trecho de vídeo, e um pequeno especialista de ações lê as características internas do backbone para deduzir o movimento que o produz. Cada chamada devolve 24 linhas de ações a 15 Hz, 1,6 segundo de movimento, junto com o vídeo previsto; o robô executa o trecho e chama de novo.
O backbone é um transformador de difusão com 26,9B parâmetros, dos quais cerca de 2,8B ficam ativos por token porque a maioria das camadas é mixture-of-experts. O especialista de ações acrescenta cerca de 0,3B. As imagens passam pelo Wan2.2 VAE congelado e as instruções pelo codificador de texto Qwen3.5-2B congelado, ambos baixados à parte.
A Runway o treinou em quatro etapas: primeiro seu modelo geral de vídeo, depois vídeo incorporado (58% vídeo egocêntrico de pessoas, 20% vídeo geral, 18% vídeo de robôs reais e um pouco de gameplay), depois vídeo e ações juntos e, por fim, um robô de cada vez.
Os checkpoints abertos são:
- praxis-1-base, o modelo do treino intermediário sem cabeças de ação específicas de um robô, o ponto de partida para um robô novo. - praxis-1-droid, uma política de um braço para o braço Franka com uma câmera externa e uma de punho, ajustada com cerca de 277 horas de dados do DROID. - praxis-1-yam, uma política de dois braços para braços YAM com uma câmera superior e duas câmeras de punho. - praxis-1-droid-nvfp4 e praxis-1-yam-nvfp4, as duas políticas após treino com consciência de quantização para especialistas NVFP4 de 4 bits.
Cada checkpoint tem 54,4 GB em bfloat16 e roda em uma GPU de 80 GB como uma H100, onde uma chamada leva cerca de 0,55 a 0,6 segundo. Com NVFP4 a política cai para 17,5 GB em GPUs Blackwell, placas da classe RTX 5090 e Jetson Thor; NVFP4 não está disponível na H100.
O repositório traz um servidor de políticas, uma simulação em MuJoCo das configurações DROID e YAM com suítes de avaliação e duas receitas de ajuste fino: um ajuste completo da base para um robô novo em um nó de 8 GPUs e LoRA sobre o praxis-1-droid para uma tarefa nova em uma GPU de 80 GB. O LeRobot adicionou o Praxis-1 como a política praxis em 11 de novembro de 2026 (guia do LeRobot), com os três checkpoints convertidos para seu formato, e o NeMo Automodel da NVIDIA tem uma receita de ajuste fino com um tutorial de LIBERO.
A Runway relata 46,2% de sucesso no ranking RoboLab-120 da NVIDIA para a política DROID, o melhor world action model desse ranking na publicação. Ajustado no robô RT-1 do Google, que não estava em seus dados de treino, chegou a 80,0% no SimplerEnv contra 52,4% da política RT-1 original. A Runway também o mostra ajustado com dados da comunidade do SO-101; esse checkpoint ainda não foi liberado.
Por que importa
A maioria das políticas abertas para robôs, como os modelos VLA, aprende a agir a partir de demonstrações com robôs, que são escassas e caras de gravar. O Praxis-1 parte de um modelo de vídeo treinado sobretudo com vídeo do dia a dia e egocêntrico, e os resultados da Runway sugerem que essa vantagem se mantém em robôs que ele nunca viu, como o robô RT-1 do Google. Como o Cosmos Policy da NVIDIA, construído sobre o Cosmos Predict 2.5, é um modelo de mundo aberto que age como política de robô, e seus pesos estão sob Apache-2.0 com uso comercial permitido. Quem tem uma configuração Franka DROID, um par de braços YAM ou dados do LeRobot pode usá-lo desde o primeiro dia: baixar um checkpoint, rodá-lo em simulação e, na configuração DROID, adaptá-lo a uma tarefa nova com LoRA em uma GPU.
Problema que resolve
Treinar uma política de robô que generalize exige grandes quantidades de dados de demonstração com robôs, e coletá-los por teleoperação é lento e caro. O Praxis-1 desloca a maior parte do aprendizado para o vídeo: um modelo pré-treinado com vídeo geral e egocêntrico já sabe como objetos e mãos se movem, então um robô precisa só de um ajuste fino leve com seus próprios dados. A Runway libera os pesos, o código para rodá-los em robôs reais ou em simulação e as receitas para adaptá-los a um braço, uma configuração de câmeras ou uma tarefa novos.
Pontos principais
- Um world action model de 27,2B parâmetros que prevê vídeo e ações de robô ao mesmo tempo
- Baseado no modelo fundacional de vídeo da Runway e treinado sobretudo com vídeo de pessoas e vídeo geral
- Checkpoints abertos: base, DROID Franka de um braço, YAM de dois braços e versões NVFP4
- Roda em uma GPU de 80 GB; NVFP4 leva a política a 17,5 GB para Blackwell e Jetson Thor
- Receitas de ajuste fino no código nativo, no LeRobot e no NeMo Automodel, incluindo LoRA em uma GPU
- Código e pesos sob Apache-2.0, uso comercial incluído
Para quem é
- Pesquisadores de aprendizado robótico que comparam world action models e políticas VLA
- Equipes com uma configuração Franka DROID ou braços YAM bimanuais que querem uma política pronta
- Desenvolvedores que adaptam uma grande política pré-treinada ao próprio braço com LoRA ou ajuste fino completo
- Usuários do LeRobot e do NeMo que querem um world action model nas ferramentas que já usam
Limitações
- Precisa de uma GPU com 80 GB de memória para os checkpoints em bfloat16; o ajuste completo nativo da base usa 8 GPUs de 80 GB, e o LeRobot pede pelo menos 4
- NVFP4 muda as ações: a Runway mediu sucesso parecido no RoboLab-120, mas menor para um checkpoint anterior em sua suíte de simulação difícil, e ainda não rodou em malha fechada em GPUs da classe RTX 5090
- O checkpoint base não tem cabeças de ação e não roda em um robô até ser ajustado
- A Runway aponta seus próprios casos de falha: pegar um objeto parecido, instruções vagas e tarefas longas dadas em um único prompt
- As configurações de amostragem foram ajustadas para o Franka do DROID; outros robôs precisam das suas
- Todos os resultados de benchmarks e em robôs reais são medições da própria Runway, publicadas no dia do lançamento
- A integração com o LeRobot é nova: foi adicionada em 11 de novembro de 2026, depois da versão 0.7.0 do LeRobot
- O Wan2.2 VAE e o codificador de texto Qwen3.5-2B são downloads à parte sob suas próprias licenças Apache-2.0