Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

Autori: NVIDIA, :, Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi "Jim" Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, Joel Jang, Zhenyu Jiang, Jan Kautz, Kaushil Kundalia, Lawrence Lao, Zhiqi Li, Zongyu Lin, Kevin Lin, Guilin Liu, Edith Llontop, Loic Magne, Ajay Mandlekar, Avnish Narayan, Soroush Nasiriany, Scott Reed, You Liang Tan, Guanzhi Wang, Zu Wang, Jing Wang, Qi Wang, Jiannan Xiang, Yuqi Xie, Yinzhen Xu, Zhenjia Xu, Seonghyeon Ye, Zhiding Yu, Ao Zhang, Hao Zhang, Yizhou Zhao, Ruijie Zheng, Yuke Zhu · 2025

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Il modello VLA aperto a doppio sistema di NVIDIA per robot umanoidi: combina il ragionamento visione-linguaggio con un Transformer di diffusione per il controllo motorio in tempo reale, addestrato su oltre 1,3M traiettorie diversificate.

Perché è importante

GR00T N1 è il primo foundation model aperto progettato specificamente per robot umanoidi da parte di un grande attore del settore. Combinando un ragionamento a doppio sistema ispirato alle scienze cognitive con un'enorme pipeline di addestramento da più fonti, stabilisce un nuovo paradigma per sviluppare l'intelligenza degli umanoidi e condividerla apertamente con la comunità di ricerca.

Problema

Gli umanoidi hanno bisogno di foundation model in grado di ragionare su ambienti complessi attraverso linguaggio e visione, generando al tempo stesso in tempo reale azioni motorie fluide del corpo intero. Non esisteva alcun foundation model aperto che combinasse il ragionamento di alto livello con il controllo di basso livello degli umanoidi in un'architettura unificata.

Soluzione proposta

GR00T N1 usa un'architettura VLA a doppio sistema: un modulo visione-linguaggio (System 2) per l'interpretazione dell'ambiente e il ragionamento, strettamente accoppiato a un modulo Transformer di diffusione (System 1) per la generazione in tempo reale di azioni motorie fluide. Entrambi i moduli sono addestrati end-to-end su una miscela eterogenea di traiettorie di robot reali, video umani e dati sintetici.

Idee chiave

  • L'architettura a doppio sistema (System 1 per il controllo motorio rapido tramite Transformer di diffusione, System 2 per il ragionamento lento tramite modello visione-linguaggio) rispecchia principi delle scienze cognitive e consente comportamenti robotici sia reattivi sia ponderati
  • L'addestramento congiunto end-to-end dei due sistemi è essenziale: un addestramento disaccoppiato degrada in modo significativo le prestazioni rispetto all'approccio strettamente accoppiato
  • L'addestramento eterogeneo su dati di robot reali, video umani e dataset sintetici consente una generalizzazione migliore di qualsiasi singola fonte di dati
  • La testa delle azioni basata su Transformer di diffusione genera distribuzioni di azioni fluide e multimodali, adatte ai compiti di manipolazione ricchi di contatti degli umanoidi
  • Rendere open source un foundation model per umanoidi con l'ecosistema NVIDIA (Isaac Sim, Eagle VLM) crea una pipeline accessibile dalla simulazione all'impiego nel mondo reale

Risultati principali

  • Supera le baseline di apprendimento per imitazione allo stato dell'arte su benchmark di simulazione standard con più embodiment robotici
  • Impiegato con successo sull'umanoide Fourier GR-1 per compiti di manipolazione bimanuale condizionati dal linguaggio
  • Ottiene prestazioni elevate con un'alta efficienza nell'uso dei dati grazie all'addestramento eterogeneo da più fonti
  • L'architettura a doppio sistema genera azioni motorie fluide in tempo reale mantenendo l'ancoraggio al linguaggio
  • Il rilascio del modello aperto con integrazione in Isaac Sim consente alla comunità di fare ricerca sui foundation model per umanoidi

Limiti

  • L'impiego nel mondo reale è dimostrato solo sul Fourier GR-1: il trasferimento ad altre piattaforme umanoidi non è ancora convalidato
  • Il modello richiede notevoli risorse di calcolo per l'addestramento a causa della pipeline di dati su larga scala da più fonti
  • La locomozione del corpo intero e i compiti dinamici (corsa, salti) non sono affrontati: il focus è sulla manipolazione bimanuale
  • La dipendenza dall'ecosistema NVIDIA (Isaac Sim, Eagle VLM) può limitare l'accessibilità per i team senza hardware NVIDIA

Impatto sul settore

GR00T N1 rappresenta la grande scommessa di NVIDIA sui foundation model per la robotica umanoide. Rendendo open source un modello VLA di qualità da produzione con una stretta integrazione con Isaac Sim, abbassa la barriera per la ricerca sugli umanoidi e potrebbe accelerare in tutto il settore il passaggio dalla simulazione all'impiego nel mondo reale. L'architettura a doppio sistema sta influenzando il modo in cui la comunità pensa a combinare ragionamento e controllo.

Abstract

I robot generici hanno bisogno di un corpo versatile e di una mente intelligente. I recenti progressi negli umanoidi si sono dimostrati molto promettenti come piattaforma hardware per costruire un'autonomia generalista nel mondo umano. Un foundation model robotico, addestrato su fonti di dati enormi e diversificate, è essenziale per consentire ai robot di ragionare su situazioni nuove, gestire in modo robusto la variabilità del mondo reale e imparare rapidamente nuovi compiti. A tal fine, presentiamo GR00T N1, un foundation model aperto per robot umanoidi. GR00T N1 è un modello Vision-Language-Action (VLA) con un'architettura a doppio sistema. Il modulo visione-linguaggio (System 2) interpreta l'ambiente attraverso la visione e le istruzioni linguistiche. Il successivo modulo Transformer di diffusione (System 1) genera azioni motorie fluide in tempo reale. I due moduli sono strettamente accoppiati e addestrati congiuntamente end-to-end. Addestriamo GR00T N1 con una miscela eterogenea di traiettorie di robot reali, video umani e dataset generati sinteticamente. Mostriamo che il nostro modello robotico generalista GR00T N1 supera le baseline di apprendimento per imitazione allo stato dell'arte su benchmark di simulazione standard con più embodiment robotici. Inoltre, impieghiamo il nostro modello sull'umanoide Fourier GR-1 per compiti di manipolazione bimanuale condizionati dal linguaggio, ottenendo prestazioni elevate con un'alta efficienza nell'uso dei dati.

Link

  • arXiv 2503.14734: https://arxiv.org/abs/2503.14734
  • PDF: https://arxiv.org/pdf/2503.14734.pdf
  • Codice: https://github.com/NVIDIA/Isaac-GR00T
  • Pagina del progetto: https://developer.nvidia.com/isaac/gr00t

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.