Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

NVIDIA Alpamayo

NVIDIA 开放的驾驶 VLA 模型:规划路径并说明理由,附带仿真、强化学习和数据

许可证

Apache 2.0

代码:Apache-2.0,适用于 Developer Hub 以及每个模型、仿真器和工具仓库;数据集开发工具包为 MIT。模型权重:四个检查点均为 OpenMDW-1.1。它允许使用、修改和再分发,包括商业用途,前提是保留许可证文本和声明;任何人若提起诉讼、主张模型侵犯专利或版权,其授权即终止。Alpamayo 1 和 1.5:它们的模型卡还写明模型可用于非商业用途、商业许可需另行申请,这与 OpenMDW-1.1 相矛盾;商业使用前请先询问 NVIDIA。数据集:Physical AI Autonomous Vehicles 数据集采用 NVIDIA Autonomous Vehicle Dataset License,在 Hugging Face 上需申请访问:仅限使用 NVIDIA 技术的自动驾驶和驾驶辅助内部开发,可撤销,不得再分发或制作衍生数据集,不得识别个人,并在下载 12 个月后终止。于 2026-11-11 对照 LICENSE 文件和 README、Hugging Face 上的模型卡和数据集卡以及 openmdw.ai 核对。

概述

NVIDIA Alpamayo 是 NVIDIA 面向基于推理的自动驾驶研究的开放平台。其核心是一组视觉-语言-动作模型:它们读取车身四周摄像头的视频、车辆最近的运动和一条导航指令,输出接下来 6.4 秒的行驶路径,并附上对这一决策的书面解释,NVIDIA 称之为 Chain-of-Causation 推理。已开放四个检查点:10B 参数的 Alpamayo 1 和 Alpamayo 1.5、34B 的 Alpamayo 2 Super,以及 2B 级的 Alpamayo 2 Edge,后者于 2026 年 11 月 10 日发布,用于在车内的 NVIDIA DRIVE AGX Thor 上运行。围绕这些模型的还有:用于闭环驾驶仿真的 AlpaSim、在该仿真器中做强化学习的 AlpaGym、为驾驶片段撰写推理标签的流水线、Physical AI Autonomous Vehicles 数据集,以及提供微调、强化学习、蒸馏和量化配方的 Alpamayo Developer Hub。代码采用 Apache-2.0,模型权重采用 OpenMDW-1.1;数据集使用 NVIDIA 自己的、范围更窄的许可证。

NVIDIA 于 2026 年 1 月在 CES 上发布了 Alpamayo,作为一组面向自动驾驶汽车的开放模型、仿真工具和数据集,并在这一年中不断扩充。GitHub 上的 Alpamayo Developer Hub 是这个系列的主页:它链接到每个模型、仿真器和数据集仓库,并收录后训练配方。

每个 Alpamayo 模型都是结构相同的 VLA 模型。来自 NVIDIA Cosmos 系列的视觉语言模型主干读取短时间窗口内的多个摄像头画面、车辆最近的运动和一条文本指令,并写出一段简短说明,讲清它看到了什么、将要做什么:这就是 Chain-of-Causation(CoC)轨迹,它把决策与引起决策的物体和事件联系起来。随后,一个基于扩散的动作专家把它转成一条轨迹:以 0.1 秒为间隔的 64 个未来位姿,覆盖 6.4 秒。该方法在 NVIDIA 的 Alpamayo-R1 论文中有介绍。已开放四个检查点:

- Alpamayo 1 Nano,最初以 Alpamayo-R1 发布(权重):10B 参数,由 8.2B 的 Cosmos-Reason 主干和 2.3B 的动作专家组成,使用四个前向和侧向摄像头,至少需要 24 GB 显存。其仓库现在只做有限维护。 - Alpamayo 1.5 Nano(权重):基于 Cosmos-Reason2 的 10B 参数模型,经过强化学习后训练,新增导航指令、可变数量的摄像头以及对场景问题的回答。 - Alpamayo 2 Super(权重):34B 参数,由 32B 的 Cosmos 3 主干和 2.3B 的动作专家组成,支持环视摄像头、让行、变道、停车等高层决策、2D 定位和自动标注。NVIDIA 把它定位为教师模型,用来训练更小的车载模型。 - Alpamayo 2 Edge(权重),2026 年 11 月 10 日发布:2.45B 的主干来自基于 Nemotron 的 Cosmos 3 Edge,另有 0.2B 的动作专家。它读取六个摄像头(22 帧)、20 个过去位姿和一条导航指令,只在情况需要时才写出推理,能回答关于场景的自由提问;运行其 BF16 示例至少需要 16 GB 显存,下载约 5.3 GB。

据 NVIDIA 的 Alpamayo 2 Edge 博客文章,该模型先用 Alpamayo 2 Super 写出的推理标签蒸馏而来,再在 AlpaGym 中进行闭环强化学习,使其闭环驾驶表现比未经这一步的最佳检查点提升了 48.9%。经过 FP8 校准、TensorRT 引擎和 DFlash2 推测解码后,NVIDIA 报告在 DRIVE AGX Thor(NVIDIA 为汽车打造的计算机)上,从摄像头像素到轨迹需要 160 到 190 ms。

在模型之外,AlpaSim 是一个开放的仿真器,用于在闭环中测试驾驶策略,每个决策都会改变车辆接下来看到的内容。它把驾驶员、渲染器、交通、控制器和物理作为独立服务运行,这些服务可以放在不同的 GPU 上;它通过 NuRec 神经重建或生成式视频模型渲染真实录制的场景,也能运行第三方策略。AlpaGym 在 AlpaSim 之上用 Cosmos-RL 和 GRPO 加入强化学习,奖励涵盖碰撞、驶出道路和行驶进度。CoC 自动标注器找出片段中驾驶员做出决策的时刻,并用视觉语言模型为这些时刻写出 CoC 轨迹。

Physical AI Autonomous Vehicles 数据集包含来自 25 个国家、2,500 多个城市的 1,700 小时驾驶数据,分为 306,151 个 20 秒的片段;每个片段都有七路摄像头,298,325 个片段有 LiDAR,160,760 个片段有雷达;可以用 Python 开发工具包读取。访问前需要在 Hugging Face 上接受 NVIDIA 的许可证,模型示例也从这里加载输入。

Developer Hub 的配方涵盖全部四个模型的监督微调、Alpamayo 1 和 1.5 基于 Cosmos-RL 与 GRPO 的强化学习、向更小模型的蒸馏、用于推测解码的草稿模型,以及 Alpamayo 1.5 的 FP8 和 NVFP4 量化。NVIDIA 称最新的模型用约 115,000 小时的多摄像头驾驶视频和约 3,700,000 条 CoC 轨迹训练,Alpamayo 1 和 1.5 则用 80,000 小时。

为何重要

大多数开源自动驾驶软件要么是模块化的软件栈,要么像 Autoware Foundation 的 Vision Pilot 那样,是基于单个摄像头的 L2 级驾驶辅助。Alpamayo 则不同:它是端到端的 VLA 驾驶模型,在一个网络中从摄像头视频直接得到路径,并用文字说明为什么这样选择;同时开放了权重、推理代码、训练配方、闭环仿真器、强化学习框架和大型数据集。这让研究人员可以研究和调整基于推理的驾驶,而不必先自己搭建周边的数据、仿真和训练。它也是把基础模型用于安全关键车辆任务最清晰的公开案例之一:它与 Cosmos Predict 2.5 和 Cosmos Policy 同属 NVIDIA Cosmos 系列,并像 NVIDIA Isaac GR00T 等机器人 VLA 一样,把视觉语言模型与扩散动作模型结合起来。有了 Alpamayo 2 Edge,这个系列的规模已经可以在单块工作站 GPU 上运行,按 NVIDIA 的说法也能在车内运行。

解决的问题

只靠数据学习的端到端驾驶模型能很好地应对常见交通,但在罕见情况下很脆弱,也不会解释自己的行为,因此难以信任和验证。要构建替代方案,需要大型驾驶数据集、推理标签、闭环仿真器和训练环境,而大公司以外很少有团队具备这些条件。Alpamayo 把这些一起开放:既输出轨迹又写出原因的模型,在闭环中微调和测试它们的工具,以及一个为适应车内算力和延迟预算而设计的较小模型。

要点

  • 四个开放的驾驶 VLA 检查点:10B 的 Alpamayo 1 和 1.5、34B 的 Alpamayo 2 Super 和 2B 级的 Alpamayo 2 Edge
  • 每个模型都输出覆盖 6.4 秒的 64 个未来位姿,并附上书面的 Chain-of-Causation 解释
  • Alpamayo 2 Edge 于 2026 年 11 月 10 日发布,示例可在 16 GB 显存上运行,面向 NVIDIA DRIVE AGX Thor
  • AlpaSim 和 AlpaGym 为驾驶策略提供闭环仿真和强化学习
  • Developer Hub 提供微调、强化学习、蒸馏、推测解码和量化的配方
  • 代码 Apache-2.0,权重 OpenMDW-1.1;驾驶数据集使用范围更窄的 NVIDIA 许可证

适用人群

  • 研究端到端和基于推理的规划的自动驾驶研究人员
  • 需要可蒸馏的教师模型或可用自有车队数据微调的紧凑模型的自动驾驶团队
  • 需要闭环驾驶环境的仿真和强化学习研究人员
  • 研究视觉-语言-动作模型以及安全关键场景中可解释决策的研究人员

局限

  • 为汽车而建:模型需要车辆的多摄像头系统、自车运动历史和标定过的摄像头,NVIDIA 没有展示它们用于其他机器人
  • 这是研究工具,不是驾驶软件栈:NVIDIA 表示 Alpamayo 1 和 1.5 用于研究和评估,未经过车规级验证
  • Alpamayo 1 和 1.5 的模型卡把权重许可证写为 OpenMDW-1.1,但又说模型可用于非商业用途、商业许可需另行申请;商业使用前请先询问 NVIDIA
  • 驾驶数据集需申请访问,只许可用于使用 NVIDIA 技术的自动驾驶内部开发,不得再分发,许可证在下载 12 个月后终止
  • 显存:Alpamayo 2 Edge 至少 16 GB,Alpamayo 1 和 1.5 需要 24 GB;Alpamayo 2 Super 在一块 80 GB 的 H100 上测试,车内实时运行需要 DRIVE AGX Thor
  • 2 Edge 在 DRIVE AGX Thor 上的部署配方见于 NVIDIA 的博客,但 Hub 在 2026 年 11 月 11 日的 README 中仍将其列为计划中
  • 基准、仿真和实车结果都是 NVIDIA 自己的评估和合作伙伴的说法
  • Alpamayo 1 现在只做有限维护,AlpaGym 仍处于早期开发阶段,只支持 Alpamayo 1.5

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。