NVIDIA Isaac GR00T

Modelo fundacional abierto de NVIDIA para razonamiento y habilidades de robots humanoides

Licencia

Apache-2.0

Resumen

NVIDIA Isaac GR00T N1 (ahora en la versión N1.7) es un modelo fundacional abierto para el razonamiento y las habilidades de robots humanoides generalistas. Este modelo de visión-lenguaje-acción (VLA) de embodiment cruzado recibe entradas multimodales, incluidos lenguaje e imágenes, para realizar tareas de manipulación en entornos diversos. Presenta una arquitectura de doble sistema inspirada en la cognición humana: System 1 (modelo de acción de pensamiento rápido para los reflejos) y System 2 (modelo de visión y lenguaje de pensamiento lento para el razonamiento deliberado). Entrenado con datos de robots reales, trayectorias sintéticas y contenido de vídeo a escala de internet. Admite múltiples embodiments de robot, incluidos GR1, OXE_DROID y AGIBOT_GENIE1.

NVIDIA Isaac GR00T N1 (ahora en la versión N1.7) es un modelo fundacional abierto para el razonamiento y las habilidades de robots humanoides generalistas. Este modelo de visión-lenguaje-acción (VLA) de embodiment cruzado recibe entradas multimodales, incluidos lenguaje e imágenes, para realizar tareas de manipulación en entornos diversos. Presenta una arquitectura de doble sistema inspirada en la cognición humana: System 2 es un modelo fundacional de visión y lenguaje basado en NVIDIA Cosmos-Reason-2 mil millones para el razonamiento deliberado, mientras que System 1 es una cabeza de transformador de difusión con 32 capas que elimina el ruido de acciones continuas. Entrenado con miles de horas de datos teleoperados de brazos bimanuales YAM, AGIBot Genie1, Galaxea R1 Pro y tareas de locomanipulación de cuerpo completo de Unitree G1, además de trayectorias sintéticas y contenido de vídeo a escala de internet.

Por qué importa

GR00T N1 es el modelo fundacional abierto de NVIDIA diseñado específicamente para robots humanoides. Su arquitectura de doble sistema, con acciones reflejas rápidas más razonamiento deliberado lento, refleja la cognición humana y representa un gran paso hacia una inteligencia humanoide de propósito general.

Qué problema resuelve

Los robots humanoides necesitan tanto habilidades reactivas rapidas (atrapar un objeto que cae) como planificacion deliberada lenta (determinar como poner una mesa). GR00T proporciona una arquitectura de modelo unificada que maneja ambos, eliminando la necesidad de construir sistemas separados para cada capacidad.

Puntos clave

• Arquitectura de doble sistema: Sistema 1 (reflejos rapidos) + Sistema 2 (razonamiento deliberado)
• Modelo VLA de embodiment cruzado que funciona en diferentes plataformas humanoides
• Entrenado con datos de robots reales, trayectorias sinteticas y video a escala de internet
• Soporta entrada multimodal: instrucciones lingueisticas y observaciones visuales
• Pesos del modelo abiertos disponibles para uso comercial e investigacion

Para quién es

• Desarrolladores de robots humanoides
• Investigadores de IA embodied
• Empresas que construyen robots de proposito general
• Laboratorios de investigacion que trabajan en transferencia entre embodiments

Limitaciones

• Optimizado para hardware NVIDIA (Isaac Sim, Jetson)
• Enfocado en humanoides: puede no transferirse bien a plataformas no humanoides
• Requiere el ecosistema Isaac Sim para el conjunto completo de funcionalidades
• El gran tamano del modelo demanda computo significativo para el despliegue