NVIDIA Isaac GR00T
NVIDIA人形机器人推理和技能开放基础模型
许可证
Apache-2.0
概述
NVIDIA Isaac GR00T N1(目前版本为 N1.7)是一个面向通用人形机器人推理与技能的开放基础模型。这一跨具身视觉-语言-动作(VLA)模型接收包括语言和图像在内的多模态输入,在多样化环境中执行操作任务。它采用受人类认知启发的双系统架构:System 1(负责反射的快思考动作模型)和 System 2(负责审慎推理的慢思考视觉语言模型)。模型基于真实机器人数据、合成轨迹和互联网规模的视频内容训练。支持多种机器人本体,包括 GR1、OXE_DROID 和 AGIBOT_GENIE1。
NVIDIA Isaac GR00T N1(目前版本为 N1.7)是一个面向通用人形机器人推理与技能的开放基础模型。这一跨具身视觉-语言-动作(VLA)模型接收包括语言和图像在内的多模态输入,在多样化环境中执行操作任务。它采用受人类认知启发的双系统架构:System 2 是基于 NVIDIA Cosmos-Reason-2B 的视觉-语言基础模型,负责审慎推理;System 1 是一个 32 层的扩散 Transformer 头,负责对连续动作去噪。模型基于数千小时的遥操作数据训练,数据来自双臂 YAM 机械臂、AGIBot Genie1、Galaxea R1 Pro 以及 Unitree G1 全身移动操作任务,另外还使用了合成轨迹和互联网规模的视频内容。
为何重要
GR00T N1 是 NVIDIA 专为人形机器人设计的开放基础模型。其双系统架构——快速的反射式动作加上缓慢的审慎推理——模拟了人类认知,是迈向通用人形机器人智能的重要一步。
解决的问题
人形机器人既需要快速的反应技能(接住掉落的物体),也需要慢速的审慎规划(弄清楚如何摆放餐桌)。GR00T 提供了一个统一的模型架构来处理这两种能力,无需为每种能力单独构建系统。
要点
- 双系统架构:系统 1(快速反射)+ 系统 2(审慎推理)
- 跨具身 VLA 模型可在不同的人形平台上运行
- 在真实机器人数据、合成轨迹和互联网规模视频上训练
- 支持多模态输入:语言指令和视觉观测
- 开放模型权重,可用于研究和商业用途
适用人群
- 人形机器人开发者
- 具身智能研究人员
- 构建通用机器人的企业
- 从事跨具身迁移研究的实验室
局限
- 针对 NVIDIA 硬件优化(Isaac Sim、Jetson)
- 专注于人形机器人——可能不适用于非人形平台
- 需要 Isaac Sim 生态系统才能使用完整功能
- 大型模型的部署需要大量算力