GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
作者: NVIDIA, :, Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi "Jim" Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, Joel Jang, Zhenyu Jiang, Jan Kautz, Kaushil Kundalia, Lawrence Lao, Zhiqi Li, Zongyu Lin, Kevin Lin, Guilin Liu, Edith Llontop, Loic Magne, Ajay Mandlekar, Avnish Narayan, Soroush Nasiriany, Scott Reed, You Liang Tan, Guanzhi Wang, Zu Wang, Jing Wang, Qi Wang, Jiannan Xiang, Yuqi Xie, Yinzhen Xu, Zhenjia Xu, Seonghyeon Ye, Zhiding Yu, Ao Zhang, Hao Zhang, Yizhou Zhao, Ruijie Zheng, Yuke Zhu · 2025
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。
一句話摘要
NVIDIA 為人形機器人推出的開放雙系統 VLA 模型,結合視覺語言推理與用於即時馬達控制的擴散 Transformer,以 1.3M+ 條多樣軌跡訓練。
為何重要
GR00T N1 是由主要產業業者推出、第一個專為人形機器人設計的開放基礎模型。它結合受認知科學啟發的雙系統推理與大規模的多來源訓練流程,為人形機器人智慧如何開發並與研究社群公開分享,確立了新的範式。
問題
人形機器人需要能透過語言與視覺推理複雜環境、同時即時生成平順全身馬達動作的基礎模型。過去沒有任何開放基礎模型在統一的架構中結合高階推理與低階的人形機器人控制。
提出的方法
GR00T N1 使用雙系統 VLA 架構:負責環境理解與推理的視覺語言模組(系統 2),與負責即時生成流暢馬達動作的擴散 Transformer 模組(系統 1)緊密耦合。兩個模組都以真實機器人軌跡、人類影片與合成資料的異質混合進行端對端訓練。
關鍵見解
- 雙系統架構(系統 1 透過擴散 Transformer 進行快速馬達控制,系統 2 透過視覺語言模型(VLM)進行慢速推理)呼應認知科學原理,讓機器人能兼具反應式與深思熟慮的行為
- 兩個系統的端對端聯合訓練至關重要:與緊密耦合的做法相比,解耦訓練會使表現明顯下降
- 以真實機器人資料、人類影片與合成資料集進行異質訓練,比任何單一資料來源都帶來更好的泛化
- 擴散 Transformer 動作頭能生成平順的多峰動作分布,適合接觸密集的人形機器人操作任務
- 在 NVIDIA 的生態系(Isaac Sim、Eagle VLM)中開源人形機器人基礎模型,建立了一條容易取得、從模擬到真實世界部署的流程
主要結果
- 在多種機器人形態的標準模擬基準測試上,勝過最先進的模仿學習基準方法
- 成功部署在 Fourier GR-1 人形機器人上,執行以語言為條件的雙臂操作任務
- 透過異質的多來源訓練,以很高的資料效率達到強勁表現
- 雙系統架構在維持語言根據的同時,即時生成平順的馬達動作
- 開放模型釋出並整合 Isaac Sim,讓社群能研究人形機器人基礎模型
限制
- 真實世界部署只在 Fourier GR-1 上展示,轉移到其他人形機器人平台尚未驗證
- 由於大規模的多來源資料流程,模型訓練需要大量運算資源
- 未涵蓋全身行走運動與動態任務(跑步、跳躍),重點在雙臂操作
- 依賴 NVIDIA 生態系(Isaac Sim、Eagle VLM),可能限制沒有 NVIDIA 硬體的團隊取用
對領域的影響
GR00T N1 代表 NVIDIA 在人形機器人基礎模型上的重大押注。它開源了一個與 Isaac Sim 緊密整合、達到生產品質的 VLA 模型,降低了人形機器人研究的門檻,並可能加速整個產業從模擬走向真實世界部署的進程。雙系統架構正在影響社群思考如何結合推理與控制。
摘要
通用機器人需要一副多才多藝的身體與一顆聰明的頭腦。人形機器人近期的進展,展現出作為在人類世界中打造通用自主能力之硬體平台的巨大潛力。以大量且多樣的資料來源訓練的機器人基礎模型,對於讓機器人能推理新情境、穩健地處理真實世界的變異並快速學習新任務而言不可或缺。為此,我們提出 GR00T N1,一個為人形機器人打造的開放基礎模型。GR00T N1 是一個具有雙系統架構的視覺-語言-動作(VLA)模型。視覺語言模組(系統 2)透過視覺與語言指令理解環境。其後的擴散 Transformer 模組(系統 1)即時生成流暢的馬達動作。兩個模組緊密耦合,並以端對端方式聯合訓練。我們以真實機器人軌跡、人類影片與合成生成資料集的異質混合來訓練 GR00T N1。我們證明,我們的通用機器人模型 GR00T N1 在多種機器人形態的標準模擬基準測試上,勝過最先進的模仿學習基準方法。此外,我們將模型部署在 Fourier GR-1 人形機器人上執行以語言為條件的雙臂操作任務,以很高的資料效率達到強勁的表現。
連結
- arXiv 2503.14734: https://arxiv.org/abs/2503.14734
- PDF: https://arxiv.org/pdf/2503.14734.pdf
- 程式碼: https://github.com/NVIDIA/Isaac-GR00T
- 專案頁面: https://developer.nvidia.com/isaac/gr00t