NVIDIA Isaac GR00T

Modèle de fondation ouvert NVIDIA pour raisonnement et compétences de robots humanoïdes

Licence

Apache-2.0

Aperçu

NVIDIA Isaac GR00T N1 (désormais en version N1.7) est un modèle de fondation ouvert pour le raisonnement et les compétences de robots humanoïdes généralistes. Ce modèle vision-langage-action (VLA) multi-incarnation prend des entrées multimodales, notamment du langage et des images, pour réaliser des tâches de manipulation dans des environnements variés. Il présente une architecture à double système inspirée de la cognition humaine : le Système 1 (modèle d'action à pensée rapide pour les réflexes) et le Système 2 (modèle vision-langage à pensée lente pour le raisonnement délibéré). Il est entraîné sur des données de robots réels, des trajectoires synthétiques et des contenus vidéo à l'échelle d'Internet. Il prend en charge plusieurs incarnations de robots, dont GR1, OXE_DROID et AGIBOT_GENIE1.

NVIDIA Isaac GR00T N1 (désormais en version N1.7) est un modèle de fondation ouvert pour le raisonnement et les compétences de robots humanoïdes généralistes. Ce modèle vision-langage-action (VLA) multi-incarnation prend des entrées multimodales, notamment du langage et des images, pour réaliser des tâches de manipulation dans des environnements variés. Il présente une architecture à double système inspirée de la cognition humaine : le Système 2 est un modèle de fondation vision-langage basé sur NVIDIA Cosmos-Reason-2 milliards pour le raisonnement délibéré, tandis que le Système 1 est une tête transformer de diffusion à 32 couches qui débruite des actions continues. Il est entraîné sur des milliers d'heures de données téléopérées issues de bras bimanuels YAM, d'AGIBot Genie1, de Galaxea R1 Pro et de tâches de loco-manipulation du corps entier sur Unitree G1, ainsi que sur des trajectoires synthétiques et des contenus vidéo à l'échelle d'Internet.

Pourquoi c'est important

GR00T N1 est le modèle de fondation ouvert de NVIDIA conçu spécifiquement pour les robots humanoïdes. Son architecture à double système, avec des actions réflexes rapides et un raisonnement délibéré lent, reflète la cognition humaine et représente une avancée majeure vers une intelligence humanoïde polyvalente.

Le problème résolu

Les robots humanoides ont besoin a la fois de competences reactives rapides (rattraper un objet qui tombe) et de planification deliberee lente (comprendre comment mettre la table). GR00T fournit une architecture de modele unifiee qui gere les deux, eliminant le besoin de construire des systemes separes pour chaque capacite.

Points clés

• Architecture a double systeme : Systeme 1 (reflexes rapides) + Systeme 2 (raisonnement delibere)
• Modele VLA inter-embodiment fonctionnant sur differentes plateformes humanoides
• Entraine sur des donnees de robots reels, des trajectoires synthetiques et des videos a l'echelle d'Internet
• Prend en charge les entrees multimodales : instructions linguistiques et observations visuelles
• Poids du modele ouverts disponibles pour la recherche et l'utilisation commerciale

Pour qui

• Developpeurs de robots humanoides
• Chercheurs en IA incarnee
• Entreprises construisant des robots a usage general
• Laboratoires de recherche travaillant sur le transfert inter-embodiment

Limites

• Optimise pour le materiel NVIDIA (Isaac Sim, Jetson)
• Axe sur les humanoides - peut ne pas bien se transferer aux plateformes non humanoides
• Necessite l'ecosysteme Isaac Sim pour l'ensemble complet des fonctionnalites
• La taille importante du modele exige une puissance de calcul significative pour le deploiement