NVIDIA Alpamayo
Modèles VLA ouverts de NVIDIA qui planifient et expliquent un trajet ; sim, RL et données
Licence
Apache 2.0
Code : Apache-2.0, dans le Developer Hub et dans chaque dépôt de modèle, de simulateur et d'outil ; le devkit du jeu de données est sous MIT. Poids du modèle : OpenMDW-1.1 pour les quatre checkpoints. La licence permet d'utiliser, modifier et redistribuer, y compris commercialement, si le texte de la licence et les mentions sont conservés, et elle prend fin pour quiconque engage une action en justice en affirmant que le modèle enfreint un brevet ou un droit d'auteur. Alpamayo 1 et 1.5 : leurs fiches de modèle disent aussi qu'ils sont prêts pour un usage non commercial, avec une licence commerciale sur demande, ce qui contredit OpenMDW-1.1 ; consultez NVIDIA avant tout usage commercial. Jeu de données : le jeu Physical AI Autonomous Vehicles relève de la NVIDIA Autonomous Vehicle Dataset License et son accès est restreint sur Hugging Face : développement interne de véhicules autonomes et d'aides à la conduite avec la technologie NVIDIA uniquement, révocable, sans redistribution ni jeux de données dérivés, sans identification de personnes, et elle prend fin 12 mois après le téléchargement. Vérifié le 2026-11-11 d'après les fichiers LICENSE et les README, les fiches de modèles et de jeux de données sur Hugging Face, et openmdw.ai.
Aperçu
NVIDIA Alpamayo est la plateforme ouverte de NVIDIA pour la recherche sur la conduite autonome fondée sur le raisonnement. Son cœur est une famille de modèles vision-langage-action qui lisent la vidéo des caméras placées autour d'une voiture, son mouvement récent et une instruction de navigation, puis renvoient le trajet des 6,4 secondes suivantes avec une explication écrite de la décision, que NVIDIA appelle raisonnement Chain-of-Causation. Quatre checkpoints sont ouverts : Alpamayo 1 et Alpamayo 1.5 à 10B paramètres, Alpamayo 2 Super à 34B et Alpamayo 2 Edge, un modèle de classe 2B publié le 10 novembre 2026 pour tourner dans le véhicule sur NVIDIA DRIVE AGX Thor. Autour d'eux se trouvent AlpaSim pour la simulation de conduite en boucle fermée, AlpaGym pour l'apprentissage par renforcement dans ce simulateur, un pipeline qui écrit des étiquettes de raisonnement pour des clips de conduite, le jeu de données Physical AI Autonomous Vehicles et l'Alpamayo Developer Hub, avec des recettes d'affinage, d'apprentissage par renforcement, de distillation et de quantification. Le code est sous Apache-2.0 et les poids du modèle sous OpenMDW-1.1 ; le jeu de données a sa propre licence NVIDIA, plus restrictive.
NVIDIA a présenté Alpamayo au CES de janvier 2026 comme une famille de modèles, d'outils de simulation et de jeux de données ouverts pour les véhicules autonomes, et l'a enrichie au fil de l'année. L'Alpamayo Developer Hub sur GitHub est la maison de la famille : il renvoie vers chaque dépôt de modèle, de simulateur et de jeu de données et contient les recettes de post-entraînement.
Chaque modèle Alpamayo est un modèle VLA construit de la même façon. Un backbone VLM de la famille Cosmos de NVIDIA lit plusieurs vues de caméra sur une courte fenêtre de temps, le mouvement récent de la voiture et une instruction textuelle, puis écrit une courte explication de ce qu'il voit et de ce qu'il va faire : la trace Chain-of-Causation (CoC), qui relie la décision aux objets et aux événements qui la provoquent. Un action expert fondé sur la diffusion en tire ensuite une trajectoire : 64 poses futures espacées de 0,1 seconde, soit 6,4 secondes. La méthode est décrite dans l'article Alpamayo-R1 de NVIDIA. Quatre checkpoints sont ouverts :
- Alpamayo 1 Nano, d'abord publié sous le nom Alpamayo-R1 (poids) : 10B paramètres, un backbone Cosmos-Reason de 8,2B et un action expert de 2,3B, quatre caméras avant et latérales, au moins 24 Go de mémoire GPU. Son dépôt ne reçoit plus qu'une maintenance limitée. - Alpamayo 1.5 Nano (poids) : 10B paramètres sur Cosmos-Reason2, post-entraîné par apprentissage par renforcement ; il ajoute les instructions de navigation, un nombre variable de caméras et des réponses aux questions sur la scène. - Alpamayo 2 Super (poids) : 34B paramètres, un backbone Cosmos 3 de 32B et un action expert de 2,3B, avec des caméras tout autour, des décisions de haut niveau comme céder le passage, changer de voie et s'arrêter, du grounding 2D et de l'étiquetage automatique. NVIDIA le présente comme un modèle enseignant pour entraîner de plus petits modèles embarqués. - Alpamayo 2 Edge (poids), publié le 10 novembre 2026 : un backbone de 2,45B issu de Cosmos 3 Edge, fondé sur Nemotron, et un action expert de 0,2B. Il lit six caméras (22 images), 20 poses passées et une instruction de navigation, n'écrit son raisonnement que lorsque la situation l'exige, peut répondre à des questions libres sur la scène et demande au moins 16 Go de mémoire GPU pour ses exemples en BF16, pour un téléchargement d'environ 5,3 Go.
Selon le billet de blog de NVIDIA sur Alpamayo 2 Edge, le modèle a été distillé à partir d'étiquettes de raisonnement écrites par Alpamayo 2 Super, puis entraîné par apprentissage par renforcement en boucle fermée dans AlpaGym, ce qui a amélioré sa conduite en boucle fermée de 48,9% par rapport à son meilleur checkpoint sans cette étape. Après calibration FP8, moteurs TensorRT et décodage spéculatif avec DFlash2, NVIDIA annonce de 160 à 190 ms entre les pixels de la caméra et la trajectoire sur DRIVE AGX Thor, l'ordinateur que NVIDIA conçoit pour les voitures.
Autour des modèles, AlpaSim est un simulateur ouvert pour tester des politiques de conduite en boucle fermée, où chaque décision change ce que la voiture voit ensuite. Il fait tourner le conducteur, le moteur de rendu, le trafic, le contrôleur et la physique comme des services séparés qui peuvent être sur des GPU différents, rend des scènes réelles enregistrées par reconstruction neuronale NuRec ou par un modèle vidéo génératif, et exécute aussi des politiques tierces. AlpaGym ajoute l'apprentissage par renforcement au-dessus d'AlpaSim avec Cosmos-RL et GRPO, avec des récompenses pour les collisions, la sortie de route et la progression. L'étiqueteur automatique CoC repère dans un clip les moments où le conducteur décide et écrit pour eux des traces CoC avec un VLM.
Le jeu de données Physical AI Autonomous Vehicles contient 1 700 heures de conduite dans 25 pays et plus de 2 500 villes, en 306 151 clips de 20 secondes, avec sept caméras sur chaque clip, du LiDAR sur 298 325 clips et du radar sur 160 760 ; un devkit Python le lit. Y accéder exige d'accepter la licence de NVIDIA sur Hugging Face, et les exemples des modèles y chargent leurs entrées.
Les recettes du Developer Hub couvrent l'affinage supervisé des quatre modèles, l'apprentissage par renforcement avec Cosmos-RL et GRPO pour Alpamayo 1 et 1.5, la distillation vers des modèles plus petits, des modèles brouillons pour le décodage spéculatif, et la quantification FP8 et NVFP4 d'Alpamayo 1.5. NVIDIA indique que les modèles les plus récents ont été entraînés sur environ 115 000 heures de vidéo de conduite multicaméra et environ 3 700 000 traces CoC, et Alpamayo 1 et 1.5 sur 80 000 heures.
Pourquoi c'est important
La plupart des logiciels ouverts de conduite autonome sont soit une pile modulaire, soit, comme Vision Pilot de l'Autoware Foundation, une aide à la conduite de niveau 2 avec une seule caméra. Alpamayo est autre chose : des modèles de conduite VLA de bout en bout qui passent de la vidéo de caméra au trajet dans un seul réseau et disent en mots pourquoi ils l'ont choisi, publiés avec les poids, le code d'inférence, des recettes d'entraînement, un simulateur en boucle fermée, un framework d'apprentissage par renforcement et un grand jeu de données. Les chercheurs peuvent ainsi étudier et adapter la conduite fondée sur le raisonnement sans construire d'abord les données, la simulation et l'entraînement qui l'entourent. C'est aussi l'un des exemples publics les plus nets d'un modèle de fondation porté vers une tâche automobile critique pour la sécurité : il vient de la même famille NVIDIA Cosmos que Cosmos Predict 2.5 et Cosmos Policy, et associe un VLM à un modèle d'action par diffusion, comme le font des VLA pour robots tels que NVIDIA Isaac GR00T. Avec Alpamayo 2 Edge, la famille atteint une taille qui tourne sur un seul GPU de station de travail et, selon NVIDIA, dans une voiture.
Le problème résolu
Les modèles de conduite de bout en bout qui apprennent seulement à partir des données gèrent bien la circulation courante, mais sont fragiles dans les situations rares et ne justifient pas ce qu'ils font, ce qui les rend difficiles à croire et à valider. Construire une alternative demande de grands jeux de données de conduite, des étiquettes de raisonnement, un simulateur en boucle fermée et un dispositif d'entraînement, que peu de groupes en dehors des grandes entreprises possèdent. Alpamayo publie tout cela ensemble : des modèles qui donnent à la fois une trajectoire et une cause écrite, les outils pour les affiner et les tester en boucle fermée, et un modèle plus petit conçu pour tenir dans le budget de calcul et de latence d'une voiture.
Points clés
- Quatre checkpoints VLA de conduite ouverts : Alpamayo 1 et 1.5 à 10B, Alpamayo 2 Super à 34B et Alpamayo 2 Edge de classe 2B
- Chacun donne 64 poses futures sur 6,4 secondes avec une explication Chain-of-Causation écrite
- Alpamayo 2 Edge, publié le 10 novembre 2026, exécute ses exemples avec 16 Go de mémoire GPU et vise NVIDIA DRIVE AGX Thor
- AlpaSim et AlpaGym apportent la simulation en boucle fermée et l'apprentissage par renforcement pour les politiques de conduite
- Le Developer Hub propose des recettes d'affinage, d'apprentissage par renforcement, de distillation, de décodage spéculatif et de quantification
- Code Apache-2.0, poids OpenMDW-1.1 ; le jeu de données de conduite a une licence NVIDIA plus restrictive
Pour qui
- Chercheurs en conduite autonome qui travaillent sur la planification de bout en bout et fondée sur le raisonnement
- Équipes véhicules autonomes qui cherchent un modèle enseignant à distiller ou un modèle compact à affiner sur les données de leur flotte
- Chercheurs en simulation et en apprentissage par renforcement qui ont besoin d'un environnement de conduite en boucle fermée
- Chercheurs sur les modèles vision-langage-action et les décisions explicables dans des contextes critiques pour la sécurité
Limites
- Conçus pour les voitures : les modèles attendent le système multicaméra d'un véhicule, l'historique de son propre mouvement et des caméras calibrées, et rien chez NVIDIA ne les montre sur d'autres robots
- Des outils de recherche, pas une pile de conduite : NVIDIA dit qu'Alpamayo 1 et 1.5 servent à la recherche et à l'évaluation et ne sont pas validés au niveau automobile
- Les fiches d'Alpamayo 1 et 1.5 donnent OpenMDW-1.1 pour les poids, mais disent aussi qu'ils sont prêts pour un usage non commercial, avec une licence commerciale sur demande ; consultez NVIDIA avant tout usage commercial
- Le jeu de données de conduite est à accès restreint et licencié seulement pour le développement interne de véhicules autonomes avec la technologie NVIDIA, sans redistribution, et la licence prend fin 12 mois après le téléchargement
- Mémoire GPU : au moins 16 Go pour Alpamayo 2 Edge, 24 Go pour Alpamayo 1 et 1.5 ; Alpamayo 2 Super a été testé sur une H100 de 80 Go, et l'usage en temps réel dans la voiture demande DRIVE AGX Thor
- La recette de déploiement de 2 Edge sur DRIVE AGX Thor est décrite dans le blog de NVIDIA, mais le README du hub du 11 novembre 2026 la donne encore comme prévue
- Les résultats de benchmarks, de simulation et sur véhicule sont des évaluations de NVIDIA et des déclarations de partenaires
- Alpamayo 1 ne reçoit plus qu'une maintenance limitée, et AlpaGym est en début de développement et ne prend en charge qu'Alpamayo 1.5