Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

NVIDIA Cosmos 3

NVIDIA 开放的世界模型:能推理、生成视频并预测机器人动作

许可证

OpenMDW 1.1

代码和权重:OpenMDW-1.1,依据 NVIDIA/cosmos 和 NVIDIA/cosmos-framework 的 LICENSE 文件以及此处列出的每张模型卡;GitHub 显示 NOASSERTION 只是因为它无法识别这一许可证。它允许使用、修改和再分发,包括商业用途,前提是保留许可证文本和声明;它不限制输出,并且任何人一旦起诉声称该模型侵犯专利或版权,其权利即告终止。模型卡称这些模型可用于商业和非商业用途。Guardrail:视频生成的快速入门需要 nvidia/Cosmos-1.0-Guardrail,它在 Hugging Face 上访问受限,并采用 NVIDIA Open Model License。数据集:NVIDIA 以 OpenMDW-1.1 发布其 Cosmos3-DROID 转换版本;原始 DROID 数据来自其作者,因此也请查看他们的条款。LeRobot:LeRobot 中这些策略的代码采用 Apache-2.0。已于 2026-11-11 对照 LICENSE 文件、Hugging Face 上的模型卡和数据集卡以及 openmdw.ai 核对。

概述

NVIDIA Cosmos 3 是 NVIDIA 当前面向物理 AI 的开放世界模型系列,于 2026 年 5 月 31 日发布。一个模型即可读写文本、图像、视频、声音和机器人动作,因此同一套权重可以描述场景、生成接下来发生的视频、模拟某个动作的效果、推断是哪个动作造成了变化,并充当机器人策略。此前的 Cosmos 版本把这些任务分给 Cosmos Predict、Cosmos Transfer 和 Cosmos Reason 等独立模型。它有三种基础规模:面向 Jetson 等边缘设备的 4B 参数 Cosmos3-Edge、面向单块大显存 GPU 的 16B Cosmos3-Nano,以及面向数据中心 GPU 的 64B Cosmos3-Super。NVIDIA 还发布了用于机器人策略、驾驶与机器人仿真以及快速图像和视频生成的后训练示例检查点,用于训练和部署的 Cosmos Framework,以及一本配方 cookbook。代码和权重采用允许商用的 OpenMDW-1.1;LeRobot 0.7 于 2026 年 11 月把 Nano 和 Edge 加入为机器人策略。

NVIDIA 于 2026 年 5 月 31 日发布 Cosmos 3,权重见 Hugging Face 合集,代码见 GitHub,另有技术报告(arXiv 2606.02800)。NVIDIA/cosmos 仓库是该系列主页,列出全部模型和配方,称 Cosmos 3 为当前模型系列。

Cosmos 3 是世界模型:它学习场景随时间的变化,因而能预测和生成接下来的情形。NVIDIA 称其为全模态,因为单个模型即可输入和输出文本、图像、视频、音频和动作;架构为 Mixture-of-Transformers。简言之,每层有两套权重,共用一个注意力步骤。推理器读取文本和图像,逐个 token 写出文本,就像视觉语言模型。生成器通过逐步去噪生成图像、视频、声音和动作,就像视频扩散模型。两者同在一个网络,模型便可先用文字规划,再生成相应视频或动作。

三个基础模型已开放:

- Cosmos3-Edge,4B 参数,于 2026 年 7 月 20 日发布,面向 Jetson AGX Orin、Jetson Thor 和 RTX Pro 6000;可生成 256p 和 480p 视频、推理场景并输出动作,但无声音和迁移模式。 - Cosmos3-Nano,16B 参数,单块 RTX Pro 6000、H100 或 B200 即可运行,NVIDIA 定位为后训练基础模型。 - Cosmos3-Super,64B 参数,面向 H200、B200 和 GB200 系统,用于最高质量输出、合成数据及蒸馏教师模型。

三者共同覆盖文生图、文生视频和图生视频(可带声音),基于边缘、模糊、深度或分割图的视频迁移,预测视频后续几秒,视觉问答和视觉定位,正向动力学(动作之后的视频)、逆向动力学(视频背后的动作)以及机器人策略。动作方面支持相机运动、汽车、第一人称手部姿态、单臂和双臂机器人以及 AgiBot 人形机器人。

cosmos3-examples 合集收录后训练检查点。Cosmos3-Nano-Policy-DROID 和 Cosmos3-Edge-Policy-DROID 是用于 DROID 平台 Franka 机械臂的机器人策略,在 Cosmos3-DROID 上训练,即 NVIDIA 转换为 LeRobot 数据集格式的 DROID。自 2026 年 10 月起,四个仿真检查点把 Nano 变成交互式仿真器,可生成带 LiDAR 的多摄像头驾驶视频、双臂机器人执行动作时的视角,或由仿真器的深度或分割输出生成逼真视频。Super 有用于文生图和图生视频的 4 步学生模型,Nano 和 Super 另有 FP8 版本。

Cosmos Framework 用于训练和部署:监督微调、LoRA、蒸馏和强化学习,推理支持 Diffusers、Transformers、vLLM、vLLM-Omni 和 SGLang;NVIDIA 还列出 TensorRT-LLM 和 NIM。Cosmos cookbook 按目标和 GPU 预算划分配方。自 2026 年 11 月 5 日发布的 LeRobot 0.7 起,Nano 和 Edge 成为 LeRobot 策略类型:LeRobot 指南说明该策略如何同时预测后续视频帧和下一段动作,并给出 LIBERO、DROID 和新机器人的微调配方。

NVIDIA Alpamayo 2 驾驶模型以 Cosmos 3 为骨干。

为何重要

Cosmos 3 是 NVIDIA Cosmos 模型的最新一代;我们已收录的有视频世界模型 Cosmos Predict 2.5,以及把 Cosmos 视频模型后训练成机器人策略的 Cosmos Policy。过去预测、迁移、推理和策略需要各自独立的模型,NVIDIA 则把 Cosmos 3 描述为取代它们的单一模型,团队可以用同一套权重进行推理、仿真和执行动作,只需后训练一个基础模型而不是多个。它也是少数同时作为视频生成器和机器人策略的开放基础模型之一:和 NVIDIA Isaac GR00T 一样,它可以微调成 VLA 式的控制器,但会在输出动作的同时预测未来的视频。有了 4B 的 Cosmos3-Edge 和 LeRobot 集成,一块 GPU 就能微调策略,NVIDIA 还报告它可在 Jetson Thor 上运行,这让基于世界模型的策略不再只属于数据中心,研究实验室也能用上。

解决的问题

制造机器人和车辆的团队需要能理解场景、生成训练和测试数据、模拟某个动作的结果并控制机器的模型,而到目前为止,这意味着多个独立模型和各自的训练代码。从零训练这类模型需要的视频数据和算力,少有团队具备。Cosmos 3 发布了一个能完成所有这些任务的开放模型系列,提供从边缘设备到数据中心 GPU 的三种规模,并附带代码和配方,让团队用自己的机器人、车辆或摄像头数据进行后训练。

要点

  • 一个全模态模型即可读写文本、图像、视频、声音和机器人动作
  • 三种开放的基础规模:Cosmos3-Edge 4B、Cosmos3-Nano 16B 和 Cosmos3-Super 64B
  • 把此前 Cosmos 分散在 Predict、Transfer 和 Reason 模型中的任务合而为一
  • 后训练示例涵盖 DROID 机器人策略、驾驶与机器人仿真以及快速生成
  • LeRobot 0.7 把 Nano 和 Edge 作为机器人策略运行,并提供 LIBERO 和 DROID 配方
  • 代码和权重采用允许商用的 OpenMDW-1.1

适用人群

  • 希望后训练基于世界模型的策略或仿真器的机器人学习研究人员
  • 需要生成合成或多摄像头训练数据的自动驾驶和机器人团队
  • 在 Jetson 等边缘设备上部署视觉推理或机器人策略的开发者
  • 希望用自己机器人的数据微调世界动作模型的 LeRobot 用户

局限

  • 除 Edge 外都需要大显存 GPU:Nano 的后训练配方按 8 块 GPU 设计,NVIDIA 推荐的 Super 部署配置使用 8 块数据中心 GPU,在 LeRobot 中对 Nano 做完整微调至少需要 4 块 80 GB 的 GPU
  • Edge 在 Jetson 上远比在数据中心 GPU 上慢:NVIDIA 测得在 Jetson AGX Thor 上每个 DROID 策略步骤约 6.3 s,而在 H100 上约 1.4 s
  • 快速入门中的视频生成需要访问受限的 Cosmos-1.0-Guardrail 模型,它采用 NVIDIA Open Model License,而不是 OpenMDW-1.1
  • NVIDIA 指出,在较长、高分辨率或物理上复杂的输出中会出现伪影,例如物体变形和不合理的运动,并表示安全关键用途需要更多验证
  • 基准排名、策略成功率和速度数据都是 NVIDIA 和 LeRobot 自己的测量结果
  • LeRobot 集成是新功能,随 2026 年 11 月 5 日的 LeRobot 0.7 发布
  • 模型卡上只测试了 BF16;除已发布的 FP8 检查点外,其他精度不受官方支持
  • Cosmos3-DROID 是 NVIDIA 对 DROID 数据集的转换版本;DROID 由 13 家机构采集,在源头有自己的条款

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。