NVIDIA Isaac GR00T

NVIDIA offenes Foundation Model für humanoide Roboter-Reasoning und -Fähigkeiten

Lizenz

Apache-2.0

Überblick

NVIDIA Isaac GR00T N1 (inzwischen in Version N1.7) ist ein offenes Foundation Model für das Schlussfolgern und die Fähigkeiten generalistischer humanoider Roboter. Dieses embodiment-übergreifende Vision-Language-Action-Modell (VLA) verarbeitet multimodale Eingaben wie Sprache und Bilder, um Manipulationsaufgaben in unterschiedlichen Umgebungen auszuführen. Es hat eine vom menschlichen Denken inspirierte Zwei-System-Architektur: System 1 (schnell denkendes Aktionsmodell für Reflexe) und System 2 (langsam denkendes Vision-Language-Modell für überlegtes Schlussfolgern). Trainiert mit echten Roboterdaten, synthetischen Trajektorien und Videoinhalten im Internetmaßstab. Unterstützt mehrere Roboter-Embodiments, darunter GR1, OXE_DROID und AGIBOT_GENIE1.

NVIDIA Isaac GR00T N1 (inzwischen in Version N1.7) ist ein offenes Foundation Model für das Schlussfolgern und die Fähigkeiten generalistischer humanoider Roboter. Dieses embodiment-übergreifende Vision-Language-Action-Modell (VLA) verarbeitet multimodale Eingaben wie Sprache und Bilder, um Manipulationsaufgaben in unterschiedlichen Umgebungen auszuführen. Es hat eine vom menschlichen Denken inspirierte Zwei-System-Architektur: System 2 ist ein Vision-Language-Foundation-Model auf Basis von NVIDIA Cosmos-Reason-2B für überlegtes Schlussfolgern, während System 1 ein Diffusion-Transformer-Kopf mit 32 Schichten ist, der kontinuierliche Aktionen entrauscht. Trainiert mit Tausenden Stunden teleoperierter Daten von beidhändigen YAM-Armen, AGIBot Genie1, Galaxea R1 Pro und Ganzkörper-Lokomanipulationsaufgaben des Unitree G1 sowie mit synthetischen Trajektorien und Videoinhalten im Internetmaßstab.

Warum es wichtig ist

GR00T N1 ist NVIDIAs offenes Foundation Model, das speziell für humanoide Roboter entwickelt wurde. Seine Zwei-System-Architektur – schnelle reflexartige Aktionen plus langsames, überlegtes Schlussfolgern – spiegelt das menschliche Denken wider und ist ein großer Schritt hin zu universell einsetzbarer humanoider Intelligenz.

Welches Problem es löst

Humanoide Roboter benötigen sowohl schnelle reaktive Fähigkeiten (ein fallendes Objekt fangen) als auch langsame überlegte Planung (herausfinden, wie man einen Tisch deckt). GR00T bietet eine einheitliche Modellarchitektur, die beides abdeckt, und eliminiert die Notwendigkeit, separate Systeme für jede Fähigkeit zu bauen.

Wichtigste Punkte

• Dualsystem-Architektur: System 1 (schnelle Reflexe) + System 2 (überlegtes Denken)
• Verkörperungsübergreifendes VLA-Modell funktioniert auf verschiedenen humanoiden Plattformen
• Trainiert auf realen Roboterdaten, synthetischen Trajektorien und Internetvideos
• Unterstützt multimodale Eingabe: Sprachanweisungen und visuelle Beobachtungen
• Offene Modellgewichte für Forschung und kommerzielle Nutzung verfügbar

Für wen

• Entwickler humanoider Roboter
• Forscher im Bereich verkörperte KI
• Unternehmen, die Allzweckroboter bauen
• Forschungslabore, die an verkörperungsübergreifendem Transfer arbeiten

Einschränkungen

• Optimiert für NVIDIA-Hardware (Isaac Sim, Jetson)
• Auf humanoide Roboter fokussiert – Transfer auf nicht-humanoide Plattformen möglicherweise eingeschränkt
• Erfordert Isaac Sim-Ökosystem für den vollen Funktionsumfang
• Große Modellgröße erfordert erhebliche Rechenleistung für den Einsatz