Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

NVIDIA Alpamayo

Modelos VLA abiertos de NVIDIA que planifican una ruta y la explican, con sim, RL y datos

Licencia

Apache 2.0

Código: Apache-2.0, en el Developer Hub y en cada repositorio de modelos, simulador y herramientas; el devkit del dataset es MIT. Pesos del modelo: OpenMDW-1.1 para los cuatro checkpoints. Permite usar, modificar y redistribuir, incluido el uso comercial, si se conservan el texto de la licencia y los avisos, y termina para quien demande alegando que el modelo infringe una patente o un derecho de autor. Alpamayo 1 y 1.5: sus fichas de modelo también dicen que están listos para uso no comercial, con licencia comercial bajo petición, lo que contradice OpenMDW-1.1; consulte a NVIDIA antes de un uso comercial. Dataset: el dataset Physical AI Autonomous Vehicles está bajo la NVIDIA Autonomous Vehicle Dataset License y tiene acceso restringido en Hugging Face: solo desarrollo interno de vehículos autónomos y asistencia a la conducción con tecnología de NVIDIA, revocable, sin redistribución ni datasets derivados, sin identificar a personas, y termina 12 meses después de la descarga. Comprobado el 2026-11-11 con los archivos LICENSE y los README, las fichas de modelos y datasets en Hugging Face y openmdw.ai.

Resumen

NVIDIA Alpamayo es la plataforma abierta de NVIDIA para investigar la conducción autónoma basada en razonamiento. Su núcleo es una familia de modelos visión-lenguaje-acción que leen el vídeo de las cámaras que rodean un coche, su movimiento reciente y una instrucción de navegación, y devuelven la ruta de los próximos 6,4 segundos junto con una explicación escrita de la decisión, que NVIDIA llama razonamiento Chain-of-Causation. Hay cuatro checkpoints abiertos: Alpamayo 1 y Alpamayo 1.5 con 10B parámetros, Alpamayo 2 Super con 34B y Alpamayo 2 Edge, un modelo de clase 2B publicado el 10 de noviembre de 2026 para funcionar dentro del vehículo en NVIDIA DRIVE AGX Thor. A su alrededor están AlpaSim para la simulación de conducción en lazo cerrado, AlpaGym para el aprendizaje por refuerzo en ese simulador, un pipeline que escribe etiquetas de razonamiento para clips de conducción, el dataset Physical AI Autonomous Vehicles y el Alpamayo Developer Hub con recetas de ajuste fino, aprendizaje por refuerzo, destilación y cuantización. El código es Apache-2.0 y los pesos del modelo son OpenMDW-1.1; el dataset tiene su propia licencia de NVIDIA, más restrictiva.

NVIDIA presentó Alpamayo en el CES de enero de 2026 como una familia de modelos, herramientas de simulación y datasets abiertos para vehículos autónomos, y la ha ampliado a lo largo del año. El Alpamayo Developer Hub en GitHub es la casa de la familia: enlaza cada repositorio de modelos, simulador y datasets y contiene las recetas de post-entrenamiento.

Todos los modelos Alpamayo son modelos VLA construidos de la misma forma. Un backbone VLM de la familia Cosmos de NVIDIA lee varias vistas de cámara en una ventana corta de tiempo, el movimiento reciente del coche y una instrucción de texto, y escribe una breve explicación de lo que ve y de lo que va a hacer: la traza Chain-of-Causation (CoC), que vincula la decisión con los objetos y sucesos que la causan. Después, un action expert basado en difusión convierte eso en una trayectoria: 64 poses futuras a intervalos de 0,1 segundos, que cubren 6,4 segundos. El método se describe en el paper de Alpamayo-R1 de NVIDIA. Hay cuatro checkpoints abiertos:

- Alpamayo 1 Nano, publicado primero como Alpamayo-R1 (pesos): 10B parámetros, un backbone Cosmos-Reason de 8,2B y un action expert de 2,3B, cuatro cámaras frontales y laterales, al menos 24 GB de memoria de GPU. Su repositorio ya solo recibe un mantenimiento limitado. - Alpamayo 1.5 Nano (pesos): 10B parámetros sobre Cosmos-Reason2, post-entrenado con aprendizaje por refuerzo; añade instrucciones de navegación, un número variable de cámaras y respuestas a preguntas sobre la escena. - Alpamayo 2 Super (pesos): 34B parámetros, un backbone Cosmos 3 de 32B y un action expert de 2,3B, con cámaras envolventes, decisiones de alto nivel como ceder el paso, cambiar de carril y detenerse, grounding 2D y etiquetado automático. NVIDIA lo presenta como modelo maestro para entrenar modelos más pequeños dentro del coche. - Alpamayo 2 Edge (pesos), publicado el 10 de noviembre de 2026: un backbone de 2,45B de Cosmos 3 Edge, basado en Nemotron, y un action expert de 0,2B. Lee seis cámaras (22 fotogramas), 20 poses pasadas y una instrucción de navegación, escribe su razonamiento solo cuando la situación lo pide, puede responder preguntas libres sobre la escena y necesita al menos 16 GB de memoria de GPU para sus ejemplos en BF16, con una descarga de unos 5,3 GB.

Según la entrada del blog de NVIDIA sobre Alpamayo 2 Edge, el modelo se destiló a partir de etiquetas de razonamiento escritas por Alpamayo 2 Super y luego se entrenó con aprendizaje por refuerzo en lazo cerrado en AlpaGym, lo que mejoró su conducción en lazo cerrado un 48,9% frente a su mejor checkpoint sin ese paso. Tras la calibración FP8, los motores TensorRT y la decodificación especulativa con DFlash2, NVIDIA informa de 160 a 190 ms desde los píxeles de cámara hasta la trayectoria en DRIVE AGX Thor, el ordenador que NVIDIA fabrica para coches.

Alrededor de los modelos, AlpaSim es un simulador abierto para probar políticas de conducción en lazo cerrado, donde cada decisión cambia lo que el coche ve a continuación. Ejecuta el conductor, el renderizador, el tráfico, el controlador y la física como servicios separados que pueden estar en GPU distintas, renderiza escenas reales grabadas mediante reconstrucción neuronal NuRec o un modelo de vídeo generativo, y también ejecuta políticas de terceros. AlpaGym añade aprendizaje por refuerzo sobre AlpaSim con Cosmos-RL y GRPO, con recompensas por colisiones, por salirse de la calzada y por avance. El auto-etiquetador CoC encuentra los momentos de un clip en los que el conductor toma una decisión y escribe trazas CoC para ellos con un VLM.

El dataset Physical AI Autonomous Vehicles contiene 1.700 horas de conducción de 25 países y más de 2.500 ciudades, en 306.151 clips de 20 segundos, con siete cámaras en cada clip, LiDAR en 298.325 clips y radar en 160.760; un devkit de Python lo lee. El acceso exige aceptar la licencia de NVIDIA en Hugging Face, y los ejemplos de los modelos cargan sus entradas desde él.

Las recetas del Developer Hub cubren el ajuste fino supervisado de los cuatro modelos, el aprendizaje por refuerzo con Cosmos-RL y GRPO para Alpamayo 1 y 1.5, la destilación en modelos más pequeños, modelos borrador para decodificación especulativa y la cuantización FP8 y NVFP4 de Alpamayo 1.5. NVIDIA dice que los modelos más recientes se entrenaron con unas 115.000 horas de vídeo de conducción multicámara y unas 3.700.000 trazas CoC, y Alpamayo 1 y 1.5 con 80.000 horas.

Por qué importa

La mayor parte del software abierto de conducción autónoma es o bien un stack modular o, como Vision Pilot de la Autoware Foundation, asistencia a la conducción de nivel 2 con una sola cámara. Alpamayo es otra cosa: modelos de conducción VLA de extremo a extremo que pasan del vídeo de cámara a una ruta en una sola red y dicen con palabras por qué la eligieron, publicados con pesos, código de inferencia, recetas de entrenamiento, un simulador en lazo cerrado, un framework de aprendizaje por refuerzo y un gran dataset. Así, los investigadores pueden estudiar y adaptar la conducción basada en razonamiento sin construir primero los datos, la simulación y el entrenamiento que la rodean. También es uno de los ejemplos públicos más claros de un modelo fundacional llevado a una tarea vehicular crítica para la seguridad: viene de la misma familia Cosmos de NVIDIA que Cosmos Predict 2.5 y Cosmos Policy, y combina un VLM con un modelo de acción por difusión, como hacen VLA de robots como NVIDIA Isaac GR00T. Con Alpamayo 2 Edge, la familia alcanza un tamaño que funciona en una sola GPU de estación de trabajo y, según NVIDIA, dentro de un coche.

Qué problema resuelve

Los modelos de conducción de extremo a extremo que aprenden solo de datos manejan bien el tráfico habitual, pero son frágiles en situaciones raras y no explican lo que hacen, lo que dificulta confiar en ellos y validarlos. Construir una alternativa requiere grandes datasets de conducción, etiquetas de razonamiento, un simulador en lazo cerrado y un entorno de entrenamiento que pocos grupos fuera de las grandes empresas tienen. Alpamayo publica todo esto junto: modelos que dan tanto una trayectoria como una causa escrita para ella, las herramientas para ajustarlos y probarlos en lazo cerrado, y un modelo más pequeño pensado para caber en el presupuesto de cómputo y latencia de un coche.

Puntos clave

  • Cuatro checkpoints VLA de conducción abiertos: Alpamayo 1 y 1.5 con 10B, Alpamayo 2 Super con 34B y Alpamayo 2 Edge de clase 2B
  • Cada uno da 64 poses futuras en 6,4 segundos junto con una explicación Chain-of-Causation escrita
  • Alpamayo 2 Edge, publicado el 10 de noviembre de 2026, ejecuta sus ejemplos con 16 GB de memoria de GPU y apunta a NVIDIA DRIVE AGX Thor
  • AlpaSim y AlpaGym ofrecen simulación en lazo cerrado y aprendizaje por refuerzo para políticas de conducción
  • El Developer Hub tiene recetas de ajuste fino, aprendizaje por refuerzo, destilación, decodificación especulativa y cuantización
  • Código Apache-2.0, pesos OpenMDW-1.1; el dataset de conducción tiene una licencia de NVIDIA más restrictiva

Para quién es

  • Investigadores de conducción autónoma que trabajan en planificación de extremo a extremo y basada en razonamiento
  • Equipos de vehículos autónomos que buscan un modelo maestro para destilar o un modelo compacto para ajustar con datos de su propia flota
  • Investigadores de simulación y aprendizaje por refuerzo que necesitan un entorno de conducción en lazo cerrado
  • Investigadores de modelos visión-lenguaje-acción y de decisiones explicables en contextos críticos para la seguridad

Limitaciones

  • Hechos para coches: los modelos esperan el sistema multicámara de un vehículo, el historial de movimiento propio y cámaras calibradas, y nada de NVIDIA los muestra en otros robots
  • Herramientas de investigación, no un stack de conducción: NVIDIA dice que Alpamayo 1 y 1.5 son para investigación y evaluación y no están validados con nivel de automoción
  • Las fichas de Alpamayo 1 y 1.5 indican OpenMDW-1.1 para los pesos, pero también dicen que están listos para uso no comercial, con licencia comercial bajo petición; consulte a NVIDIA antes de un uso comercial
  • El dataset de conducción es de acceso restringido y solo está licenciado para el desarrollo interno de vehículos autónomos con tecnología de NVIDIA, sin redistribución, y la licencia termina 12 meses después de la descarga
  • Memoria de GPU: al menos 16 GB para Alpamayo 2 Edge y 24 GB para Alpamayo 1 y 1.5; Alpamayo 2 Super se probó en una H100 de 80 GB, y el uso en tiempo real en el coche necesita DRIVE AGX Thor
  • La receta de despliegue de 2 Edge en DRIVE AGX Thor se describe en el blog de NVIDIA, pero el README del hub del 11 de noviembre de 2026 aún la da como prevista
  • Los resultados de benchmarks, simulación y vehículo son evaluaciones propias de NVIDIA y declaraciones de socios
  • Alpamayo 1 solo recibe ya un mantenimiento limitado, y AlpaGym está en desarrollo temprano y solo admite Alpamayo 1.5

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.