Runway Praxis-1
Runway的开放权重世界动作模型,同时预测视频和机器人动作
许可证
Apache 2.0
代码:Apache-2.0,读自runwayml/praxis-1-oss的LICENSE文件。权重:Runway合集中全部八张模型卡(基础、DROID、YAM、两个NVFP4版本和三个LeRobot版本)均为Apache-2.0,均无访问限制;Runway的公告称包括商业使用。评测集:praxis-1-eval数据集卡为Apache-2.0。冻结依赖:Wan2.2 VAE和Qwen3.5-2B文本编码器不在Runway的仓库中;两者在各自的Hugging Face卡上均为Apache-2.0。仿真资源:首次运行时从MuJoCo Menagerie下载,各有自己的许可:Franka机械臂Apache-2.0,Robotiq 2F-85夹爪BSD-2-Clause,YAM机械臂MIT。于2026-11-12对照LICENSE文件和Hugging Face卡核实。
概述
Runway Praxis-1是AI视频公司Runway推出的面向机械臂的开放权重世界动作模型,于2026年11月11日以Apache-2.0许可向所有人发布。它建立在Runway自己的视频基础模型之上:每次调用都会预测摄像头接下来1.6秒的视频,同时给出产生这段视频的机器人动作。模型共有27.2B参数,由一个混合专家(mixture-of-experts)视频主干和一个小型动作专家组成,主干每个token约有2.8B参数处于激活状态。开放的检查点有三个:用于针对新机器人微调的基础模型、面向DROID平台Franka机械臂的单臂策略,以及面向YAM机械臂的双臂策略;两个策略另有面向较新NVIDIA GPU的NVFP4版本。Runway公开了推理、服务、仿真和微调代码(包括LoRA),该模型还可作为LeRobot策略运行,并在NeMo Automodel中有微调配方。
Runway于2026年9月预告Praxis-1,2026年11月11日正式开放:代码在GitHub,权重在Hugging Face合集,另有技术报告。
Praxis-1是Runway所说的世界动作模型,即同时输出机器人动作的视频世界模型。每次调用读取文字任务、摄像头最新画面和机械臂位姿。视频主干预测下一段视频,小型动作专家读取主干内部特征,推算相应运动。每次调用返回15 Hz的24行动作(1.6秒运动)及预测视频;机器人执行后再次调用。
主干是26.9B参数的扩散Transformer,多数层为混合专家层,每个token约激活2.8B;动作专家另有约0.3B。图像经冻结的Wan2.2 VAE,指令经冻结的Qwen3.5-2B文本编码器,两者另行下载。
训练分四个阶段:通用视频模型;具身视频(58%人类第一人称视频、20%通用视频、18%真实机器人视频及少量游戏画面);视频与动作联合训练;逐个机器人微调。
开放检查点:
- praxis-1-base:中期训练模型,无机器人专属动作头,是新机器人的起点。 - praxis-1-droid:Franka机械臂单臂策略,配外部和腕部摄像头,用约277小时DROID数据微调。 - praxis-1-yam:YAM机械臂双臂策略,配顶部与两个腕部摄像头。 - praxis-1-droid-nvfp4和praxis-1-yam-nvfp4:两个策略经NVFP4 4位专家量化感知训练的版本。
每个检查点bfloat16下为54.4 GB,单块80 GB GPU(如H100)即可运行,每次调用约0.55到0.6秒。用NVFP4时,策略在Blackwell GPU、RTX 5090级显卡和Jetson Thor上缩小到17.5 GB;H100不支持NVFP4。
仓库含策略服务器、带评测套件的DROID与YAM平台MuJoCo仿真和两套微调配方:8 GPU节点上全量微调基础模型以适配新机器人;单块80 GB GPU上用LoRA微调praxis-1-droid以适配新任务。LeRobot于2026年11月11日把Praxis-1加入为praxis策略(指南),三个检查点均已转换;NVIDIA NeMo Automodel也有微调配方和LIBERO教程。
据Runway报告,DROID策略在NVIDIA RoboLab-120排行榜成功率46.2%,发布时居世界动作模型首位。在训练数据外的Google RT-1机器人上微调后,它在SimplerEnv上达到80.0%,原始RT-1策略为52.4%。Runway还展示了用社区SO-101数据微调,该检查点未发布。
为何重要
大多数开放的机器人策略,例如VLA模型,都是从机器人示教中学习动作,而这类数据稀缺且录制成本高。Praxis-1以一个主要用日常视频和第一人称视频训练的视频模型为起点,Runway的结果表明,这种先发优势可以迁移到它从未见过的机器人上,例如Google的RT-1机器人。与基于Cosmos Predict 2.5的NVIDIA Cosmos Policy一样,它是一个充当机器人策略的开放世界模型,其权重采用Apache-2.0许可,允许商业使用。拥有Franka DROID平台、一对YAM机械臂或LeRobot数据的读者第一天就能用上:下载检查点、在仿真中运行,并在DROID平台上用一块GPU通过LoRA适配新任务。
解决的问题
训练一个能泛化的机器人策略需要大量机器人示教数据,而通过遥操作采集这些数据既慢又贵。Praxis-1把大部分学习转移到视频上:在通用视频和第一人称视频上预训练的模型已经知道物体和手如何运动,因此机器人只需用自己的数据做轻量微调。Runway公开了权重、在真实机器人或仿真中运行它们的代码,以及把它们适配到新机械臂、新摄像头布置或新任务的配方。
要点
- 一个27.2B参数的世界动作模型,同时预测视频和机器人动作
- 建立在Runway的视频基础模型之上,主要用人类视频和通用视频训练
- 开放的检查点:基础模型、单臂DROID Franka、双臂YAM以及NVFP4版本
- 可在一块80 GB GPU上运行;NVFP4让策略降到17.5 GB,适用于Blackwell和Jetson Thor
- 原生代码、LeRobot和NeMo Automodel都有微调配方,包括单GPU上的LoRA
- 代码和权重采用Apache-2.0,包括商业使用
适用人群
- 比较世界动作模型和VLA策略的机器人学习研究者
- 拥有Franka DROID平台或双臂YAM机械臂、想要现成策略的团队
- 用LoRA或全量微调把大型预训练策略适配到自己机械臂上的开发者
- 希望在已用工具中使用世界动作模型的LeRobot和NeMo用户
局限
- bfloat16检查点需要一块80 GB显存的GPU;原生的基础模型全量微调使用8块80 GB GPU,LeRobot要求至少4块
- NVFP4会改变动作:Runway在RoboLab-120上测得成功率相近,但较早的检查点在其困难仿真套件上成功率更低,而且尚未在RTX 5090级GPU上做过闭环运行
- 基础检查点没有动作头,微调之前无法在机器人上运行
- Runway列出了自己的失败情形:伸手去拿外观相似的物体、指令含糊,以及用单个提示给出的长任务
- 采样设置是针对DROID Franka调的;其他机器人需要自己的设置
- 所有基准测试和真实机器人结果都是Runway自己的测量,在发布当天公布
- LeRobot集成很新:于2026年11月11日加入,晚于LeRobot 0.7.0版本
- Wan2.2 VAE和Qwen3.5-2B文本编码器需单独下载,各自采用Apache-2.0许可