NVIDIA Alpamayo
Modelli VLA aperti di NVIDIA che pianificano e spiegano un percorso; sim, RL e dati
Licenza
Apache 2.0
Codice: Apache-2.0, nel Developer Hub e in ogni repository di modelli, simulatore e strumenti; il devkit del dataset è MIT. Pesi del modello: OpenMDW-1.1 per tutti e quattro i checkpoint. Consente uso, modifica e ridistribuzione, anche commerciale, se si conservano il testo della licenza e le note, e decade per chi fa causa sostenendo che il modello viola un brevetto o un diritto d'autore. Alpamayo 1 e 1.5: le loro schede dicono anche che sono pronti per uso non commerciale, con licenza commerciale su richiesta, il che contraddice OpenMDW-1.1; chiedete a NVIDIA prima di un uso commerciale. Dataset: il dataset Physical AI Autonomous Vehicles è sotto la NVIDIA Autonomous Vehicle Dataset License, ad accesso riservato su Hugging Face: solo sviluppo interno di veicoli autonomi e assistenza alla guida con tecnologia NVIDIA, revocabile, niente ridistribuzione né dataset derivati, niente identificazione di persone, e scade 12 mesi dopo il download. Verificato il 2026-11-11 sui file LICENSE e i README, sulle schede di modelli e dataset su Hugging Face e su openmdw.ai.
Panoramica
NVIDIA Alpamayo è la piattaforma aperta di NVIDIA per la ricerca sulla guida autonoma basata sul ragionamento. Il suo cuore è una famiglia di modelli Vision-Language-Action che leggono il video delle telecamere attorno a un'auto, il suo movimento recente e un'istruzione di navigazione, e restituiscono il percorso dei 6,4 secondi successivi insieme a una spiegazione scritta della decisione, che NVIDIA chiama ragionamento Chain-of-Causation. Quattro checkpoint sono aperti: Alpamayo 1 e Alpamayo 1.5 con 10B parametri, Alpamayo 2 Super con 34B e Alpamayo 2 Edge, un modello di classe 2B rilasciato il 10 novembre 2026 per funzionare a bordo del veicolo su NVIDIA DRIVE AGX Thor. Attorno a essi ci sono AlpaSim per la simulazione di guida ad anello chiuso, AlpaGym per l'apprendimento per rinforzo in quel simulatore, una pipeline che scrive etichette di ragionamento per clip di guida, il dataset Physical AI Autonomous Vehicles e l'Alpamayo Developer Hub con ricette di fine-tuning, apprendimento per rinforzo, distillazione e quantizzazione. Il codice è Apache-2.0 e i pesi del modello sono OpenMDW-1.1; il dataset ha una propria licenza NVIDIA, più ristretta.
NVIDIA ha presentato Alpamayo al CES di gennaio 2026 come famiglia di modelli, strumenti di simulazione e dataset aperti per i veicoli autonomi, e l'ha ampliata nel corso dell'anno. L'Alpamayo Developer Hub su GitHub è la casa della famiglia: rimanda a ogni repository di modelli, simulatore e dataset e contiene le ricette di post-training.
Ogni modello Alpamayo è un modello Vision-Language-Action (VLA) costruito allo stesso modo. Un backbone modello Vision-Language (VLM) della famiglia Cosmos di NVIDIA legge più viste di telecamera in una breve finestra di tempo, il movimento recente dell'auto e un'istruzione testuale, e scrive una breve spiegazione di ciò che vede e di ciò che farà: la traccia Chain-of-Causation (CoC), che collega la decisione agli oggetti e agli eventi che la causano. Un action expert basato sulla diffusione la trasforma poi in una traiettoria: 64 pose future a intervalli di 0,1 secondi, per 6,4 secondi. Il metodo è descritto nel paper Alpamayo-R1 di NVIDIA. Quattro checkpoint sono aperti:
- Alpamayo 1 Nano, rilasciato prima come Alpamayo-R1 (pesi): 10B parametri, un backbone Cosmos-Reason da 8,2B e un action expert da 2,3B, quattro telecamere frontali e laterali, almeno 24 GB di memoria GPU. Il suo repository riceve ormai solo una manutenzione limitata. - Alpamayo 1.5 Nano (pesi): 10B parametri su Cosmos-Reason2, post-addestrato con apprendimento per rinforzo; aggiunge istruzioni di navigazione, un numero variabile di telecamere e risposte a domande sulla scena. - Alpamayo 2 Super (pesi): 34B parametri, un backbone Cosmos 3 da 32B e un action expert da 2,3B, con telecamere tutt'attorno all'auto, decisioni di alto livello come dare la precedenza, cambiare corsia e fermarsi, grounding 2D ed etichettatura automatica. NVIDIA lo presenta come modello insegnante per addestrare modelli più piccoli a bordo. - Alpamayo 2 Edge (pesi), rilasciato il 10 novembre 2026: un backbone da 2,45B di Cosmos 3 Edge, basato su Nemotron, e un action expert da 0,2B. Legge sei telecamere (22 fotogrammi), 20 pose passate e un'istruzione di navigazione, scrive il suo ragionamento solo quando la situazione lo richiede, può rispondere a domande libere sulla scena e richiede almeno 16 GB di memoria GPU per i suoi esempi in BF16, con un download di circa 5,3 GB.
Secondo il post del blog di NVIDIA su Alpamayo 2 Edge, il modello è stato distillato da etichette di ragionamento scritte da Alpamayo 2 Super e poi addestrato con apprendimento per rinforzo ad anello chiuso in AlpaGym, migliorando la sua guida ad anello chiuso del 48,9% rispetto al suo miglior checkpoint senza quel passaggio. Dopo la calibrazione FP8, i motori TensorRT e il decoding speculativo con DFlash2, NVIDIA riporta da 160 a 190 ms dai pixel della telecamera alla traiettoria su DRIVE AGX Thor, il computer che NVIDIA costruisce per le auto.
Attorno ai modelli, AlpaSim è un simulatore aperto per provare politiche di guida ad anello chiuso, dove ogni decisione cambia ciò che l'auto vede dopo. Esegue conducente, renderer, traffico, controllore e fisica come servizi separati che possono stare su GPU diverse, renderizza scene reali registrate tramite ricostruzione neurale NuRec o un modello video generativo, ed esegue anche politiche di terzi. AlpaGym aggiunge l'apprendimento per rinforzo sopra AlpaSim con Cosmos-RL e GRPO, con ricompense per collisioni, uscite di strada e avanzamento. L'auto-etichettatore CoC trova in una clip i momenti in cui il conducente decide e scrive per essi tracce CoC con un VLM.
Il dataset Physical AI Autonomous Vehicles contiene 1.700 ore di guida da 25 paesi e oltre 2.500 città, in 306.151 clip da 20 secondi, con sette telecamere in ogni clip, LiDAR in 298.325 clip e radar in 160.760; un devkit Python lo legge. L'accesso richiede di accettare la licenza di NVIDIA su Hugging Face, e gli esempi dei modelli caricano da lì i loro input.
Le ricette del Developer Hub coprono il fine-tuning supervisionato di tutti e quattro i modelli, l'apprendimento per rinforzo con Cosmos-RL e GRPO per Alpamayo 1 e 1.5, la distillazione in modelli più piccoli, modelli bozza per il decoding speculativo e la quantizzazione FP8 e NVFP4 di Alpamayo 1.5. NVIDIA afferma che i modelli più recenti sono stati addestrati su circa 115.000 ore di video di guida multicamera e circa 3.700.000 tracce CoC, e Alpamayo 1 e 1.5 su 80.000 ore.
Perché è importante
Gran parte del software aperto per la guida autonoma è o uno stack modulare o, come Vision Pilot della Autoware Foundation, assistenza alla guida di livello 2 con una sola telecamera. Alpamayo è un'altra cosa: modelli di guida VLA end-to-end che passano dal video delle telecamere a un percorso in un'unica rete e dicono a parole perché l'hanno scelto, rilasciati con pesi, codice di inferenza, ricette di addestramento, un simulatore ad anello chiuso, un framework di apprendimento per rinforzo e un grande dataset. Così i ricercatori possono studiare e adattare la guida basata sul ragionamento senza costruire prima i dati, la simulazione e l'addestramento che la circondano. È anche uno degli esempi pubblici più chiari di un foundation model portato in un compito veicolare critico per la sicurezza: viene dalla stessa famiglia NVIDIA Cosmos di Cosmos Predict 2.5 e Cosmos Policy, e abbina un VLM a un modello d'azione a diffusione, come fanno i VLA per robot come NVIDIA Isaac GR00T. Con Alpamayo 2 Edge la famiglia raggiunge una dimensione che gira su una sola GPU da workstation e, secondo NVIDIA, dentro un'auto.
Il problema che risolve
I modelli di guida end-to-end che imparano solo dai dati gestiscono bene il traffico comune, ma sono fragili nelle situazioni rare e non motivano ciò che fanno, il che rende difficile fidarsi di loro e validarli. Costruire un'alternativa richiede grandi dataset di guida, etichette di ragionamento, un simulatore ad anello chiuso e un impianto di addestramento che pochi gruppi al di fuori delle grandi aziende possiedono. Alpamayo rilascia tutto questo insieme: modelli che danno sia una traiettoria sia una causa scritta, gli strumenti per adattarli e provarli ad anello chiuso, e un modello più piccolo pensato per stare nel budget di calcolo e di latenza di un'auto.
Punti chiave
- Quattro checkpoint VLA di guida aperti: Alpamayo 1 e 1.5 con 10B, Alpamayo 2 Super con 34B e Alpamayo 2 Edge di classe 2B
- Ognuno dà 64 pose future su 6,4 secondi insieme a una spiegazione Chain-of-Causation scritta
- Alpamayo 2 Edge, rilasciato il 10 novembre 2026, esegue i suoi esempi con 16 GB di memoria GPU e punta a NVIDIA DRIVE AGX Thor
- AlpaSim e AlpaGym offrono simulazione ad anello chiuso e apprendimento per rinforzo per le politiche di guida
- Il Developer Hub ha ricette per fine-tuning, apprendimento per rinforzo, distillazione, decoding speculativo e quantizzazione
- Codice Apache-2.0, pesi OpenMDW-1.1; il dataset di guida ha una licenza NVIDIA più ristretta
A chi si rivolge
- Ricercatori di guida autonoma che lavorano sulla pianificazione end-to-end e basata sul ragionamento
- Team di veicoli autonomi che cercano un modello insegnante da distillare o un modello compatto da adattare ai dati della propria flotta
- Ricercatori di simulazione e apprendimento per rinforzo che hanno bisogno di un ambiente di guida ad anello chiuso
- Ricercatori che studiano i modelli Vision-Language-Action e le decisioni spiegabili in contesti critici per la sicurezza
Limiti
- Pensati per le auto: i modelli si aspettano il sistema multicamera di un veicolo, la storia del suo movimento e telecamere calibrate, e nulla da parte di NVIDIA li mostra su altri robot
- Strumenti di ricerca, non uno stack di guida: NVIDIA dice che Alpamayo 1 e 1.5 servono a ricerca e valutazione e non sono validati a livello automotive
- Le schede di Alpamayo 1 e 1.5 indicano OpenMDW-1.1 per i pesi, ma dicono anche che sono pronti per uso non commerciale, con licenza commerciale su richiesta; chiedete a NVIDIA prima di un uso commerciale
- Il dataset di guida è ad accesso riservato e concesso in licenza solo per lo sviluppo interno di veicoli autonomi con tecnologia NVIDIA, senza ridistribuzione, e la licenza scade 12 mesi dopo il download
- Memoria GPU: almeno 16 GB per Alpamayo 2 Edge, 24 GB per Alpamayo 1 e 1.5; Alpamayo 2 Super è stato provato su una H100 da 80 GB, e l'uso in tempo reale in auto richiede DRIVE AGX Thor
- La ricetta di deployment di 2 Edge su DRIVE AGX Thor è descritta nel blog di NVIDIA, ma il README dell'hub dell'11 novembre 2026 la indica ancora come prevista
- I risultati di benchmark, simulazione e su veicolo sono valutazioni di NVIDIA e dichiarazioni di partner
- Alpamayo 1 riceve ormai solo una manutenzione limitata, e AlpaGym è in fase iniziale di sviluppo e supporta solo Alpamayo 1.5