NVIDIA Alpamayo
Offene Fahr-VLA-Modelle von NVIDIA, die Pfade planen und begründen, mit Sim, RL und Daten
Lizenz
Apache 2.0
Code: Apache-2.0, im Developer Hub und in jedem Modell-, Simulator- und Werkzeug-Repository; das Devkit des Datensatzes steht unter MIT. Modellgewichte: OpenMDW-1.1 für alle vier Checkpoints. Die Lizenz erlaubt Nutzung, Änderung und Weitergabe, auch kommerziell, wenn Lizenztext und Hinweise erhalten bleiben, und sie endet für jeden, der klagt und behauptet, das Modell verletze ein Patent oder Urheberrecht. Alpamayo 1 und 1.5: Ihre Modellkarten sagen außerdem, die Modelle seien für nichtkommerzielle Nutzung bereit, mit kommerzieller Lizenz auf Anfrage, was OpenMDW-1.1 widerspricht; vor kommerzieller Nutzung bei NVIDIA nachfragen. Datensatz: Der Datensatz Physical AI Autonomous Vehicles steht unter der NVIDIA Autonomous Vehicle Dataset License und ist auf Hugging Face zugangsbeschränkt: nur interne Entwicklung autonomer Fahrzeuge und Fahrassistenz mit NVIDIA-Technik, widerruflich, keine Weitergabe und keine abgeleiteten Datensätze, keine Identifizierung von Personen, und sie endet 12 Monate nach dem Download. Geprüft am 2026-11-11 anhand der LICENSE-Dateien und READMEs, der Modell- und Datensatzkarten auf Hugging Face und openmdw.ai.
Überblick
NVIDIA Alpamayo ist NVIDIAs offene Plattform für die Forschung am begründenden autonomen Fahren. Ihr Kern ist eine Familie von Vision-Language-Action-Modellen, die Video der Kameras rund um ein Auto, seine jüngste Bewegung und eine Navigationsanweisung lesen und den Pfad für die nächsten 6,4 Sekunden zurückgeben, zusammen mit einer schriftlichen Erklärung der Entscheidung, die NVIDIA Chain-of-Causation-Reasoning nennt. Vier Checkpoints sind offen: Alpamayo 1 und Alpamayo 1.5 mit 10B Parametern, Alpamayo 2 Super mit 34B und Alpamayo 2 Edge, ein Modell der 2B-Klasse, das am 10. November 2026 für den Betrieb im Fahrzeug auf NVIDIA DRIVE AGX Thor erschienen ist. Dazu gehören AlpaSim für Fahrsimulation im geschlossenen Regelkreis, AlpaGym für Reinforcement Learning in diesem Simulator, eine Pipeline, die Begründungslabels für Fahrclips schreibt, der Datensatz Physical AI Autonomous Vehicles und der Alpamayo Developer Hub mit Rezepten für Fine-Tuning, Reinforcement Learning, Destillation und Quantisierung. Der Code steht unter Apache-2.0 und die Modellgewichte unter OpenMDW-1.1; für den Datensatz gilt eine eigene, engere NVIDIA-Lizenz.
NVIDIA stellte Alpamayo im Januar 2026 auf der CES als Familie offener Modelle, Simulationswerkzeuge und Datensätze für autonome Fahrzeuge vor und hat sie im Laufe des Jahres erweitert. Der Alpamayo Developer Hub auf GitHub ist das Zuhause der Familie: Er verweist auf jedes Modell-, Simulator- und Datensatz-Repository und enthält die Rezepte für das Post-Training.
Jedes Alpamayo-Modell ist ein VLA-Modell mit demselben Aufbau. Ein VLM-Backbone aus NVIDIAs Cosmos-Familie liest mehrere Kameraansichten über ein kurzes Zeitfenster, die jüngste Bewegung des Autos und eine Textanweisung und schreibt eine kurze Erklärung dessen, was es sieht und tun wird: den Chain-of-Causation-Trace (CoC), der die Entscheidung mit den Objekten und Ereignissen verknüpft, die sie auslösen. Ein diffusionsbasierter Action Expert macht daraus eine Trajektorie: 64 künftige Posen im Abstand von 0,1 Sekunden, also 6,4 Sekunden. Die Methode beschreibt NVIDIAs Paper zu Alpamayo-R1. Vier Checkpoints sind offen:
- Alpamayo 1 Nano, zuerst als Alpamayo-R1 veröffentlicht (Gewichte): 10B Parameter, ein Cosmos-Reason-Backbone mit 8,2B und ein Action Expert mit 2,3B, vier Front- und Seitenkameras, mindestens 24 GB GPU-Speicher. Das Repository wird inzwischen nur noch eingeschränkt gepflegt. - Alpamayo 1.5 Nano (Gewichte): 10B Parameter auf Cosmos-Reason2, mit Reinforcement Learning nachtrainiert, ergänzt um Navigationsanweisungen, eine variable Zahl von Kameras und Antworten auf Fragen zur Szene. - Alpamayo 2 Super (Gewichte): 34B Parameter, ein Cosmos-3-Backbone mit 32B und ein Action Expert mit 2,3B, mit Rundumkameras, übergeordneten Entscheidungen wie Vorfahrt gewähren, Spurwechsel und Anhalten, 2D-Grounding und automatischer Annotation. NVIDIA stellt es als Lehrermodell für das Training kleinerer Modelle im Auto vor. - Alpamayo 2 Edge (Gewichte), erschienen am 10. November 2026: ein Backbone mit 2,45B aus Cosmos 3 Edge, das auf Nemotron basiert, und ein Action Expert mit 0,2B. Es liest sechs Kameras (22 Frames), 20 vergangene Posen und eine Navigationsanweisung, schreibt seine Begründung nur, wenn eine Situation es verlangt, beantwortet freie Fragen zur Szene und braucht für seine BF16-Beispiele mindestens 16 GB GPU-Speicher, bei einem Download von etwa 5,3 GB.
Laut NVIDIAs Blogbeitrag zu Alpamayo 2 Edge wurde das Modell aus Begründungslabels destilliert, die Alpamayo 2 Super geschrieben hat, und dann mit Reinforcement Learning im geschlossenen Regelkreis in AlpaGym trainiert, was sein Fahren im geschlossenen Regelkreis gegenüber dem besten Checkpoint ohne diesen Schritt um 48,9% verbesserte. Nach FP8-Kalibrierung, TensorRT-Engines und spekulativem Decoding mit DFlash2 meldet NVIDIA 160 bis 190 ms von den Kamerapixeln bis zur Trajektorie auf DRIVE AGX Thor, dem Computer, den NVIDIA für Autos baut.
Rund um die Modelle ist AlpaSim ein offener Simulator, der Fahrstrategien im geschlossenen Regelkreis testet, in dem jede Entscheidung verändert, was das Auto als Nächstes sieht. Er betreibt Fahrer, Renderer, Verkehr, Steuerung und Physik als getrennte Dienste, die auf verschiedenen GPUs laufen können, rendert echte aufgezeichnete Szenen per NuRec-Neuralrekonstruktion oder mit einem generativen Videomodell und führt auch Strategien Dritter aus. AlpaGym ergänzt AlpaSim um Reinforcement Learning mit Cosmos-RL und GRPO, mit Belohnungen für Kollisionen, das Verlassen der Fahrbahn und Fortschritt. Der CoC-Auto-Labeler findet die Momente in einem Clip, in denen ein Fahrer entscheidet, und schreibt dafür CoC-Traces mit einem VLM.
Der Datensatz Physical AI Autonomous Vehicles umfasst 1.700 Stunden Fahrt aus 25 Ländern und mehr als 2.500 Städten in 306.151 Clips zu je 20 Sekunden, mit sieben Kameras in jedem Clip, LiDAR in 298.325 Clips und Radar in 160.760; ein Python-Devkit liest ihn. Der Zugang setzt voraus, NVIDIAs Lizenz auf Hugging Face zu akzeptieren, und die Modellbeispiele laden ihre Eingaben daraus.
Die Rezepte des Developer Hub decken überwachtes Fine-Tuning aller vier Modelle ab, Reinforcement Learning mit Cosmos-RL und GRPO für Alpamayo 1 und 1.5, Destillation in kleinere Modelle, Draft-Modelle für spekulatives Decoding sowie FP8- und NVFP4-Quantisierung von Alpamayo 1.5. Laut NVIDIA wurden die neuesten Modelle mit rund 115.000 Stunden Mehrkamera-Fahrvideo und rund 3.700.000 CoC-Traces trainiert, Alpamayo 1 und 1.5 mit 80.000 Stunden.
Warum es wichtig ist
Die meiste offene Software für autonomes Fahren ist entweder ein modularer Stack oder, wie Vision Pilot der Autoware Foundation, Fahrassistenz nach Level 2 mit einer einzigen Kamera. Alpamayo ist etwas anderes: durchgängige VLA-Fahrmodelle, die in einem Netz vom Kameravideo zum Pfad gehen und in Worten sagen, warum sie ihn gewählt haben, veröffentlicht mit Gewichten, Inferenzcode, Trainingsrezepten, einem Simulator im geschlossenen Regelkreis, einem Framework für Reinforcement Learning und einem großen Datensatz. So können Forschende begründendes Fahren untersuchen und anpassen, ohne zuerst Daten, Simulation und Training drumherum aufzubauen. Es ist auch eines der deutlichsten öffentlichen Beispiele für ein Foundation Model, das in eine sicherheitskritische Fahrzeugaufgabe getragen wird: Es stammt aus derselben NVIDIA-Cosmos-Familie wie Cosmos Predict 2.5 und Cosmos Policy und verbindet ein VLM mit einem Diffusions-Aktionsmodell, wie es Roboter-VLAs wie NVIDIA Isaac GR00T tun. Mit Alpamayo 2 Edge erreicht die Familie eine Größe, die auf einer einzelnen Workstation-GPU läuft und nach NVIDIAs Angaben auch im Auto.
Welches Problem es löst
Durchgängige Fahrmodelle, die allein aus Daten lernen, bewältigen gewöhnlichen Verkehr gut, sind aber in seltenen Situationen anfällig und begründen nicht, was sie tun, was es schwer macht, ihnen zu vertrauen und sie zu validieren. Eine Alternative zu bauen erfordert große Fahrdatensätze, Begründungslabels, einen Simulator im geschlossenen Regelkreis und eine Trainingsumgebung, die nur wenige Gruppen außerhalb großer Unternehmen haben. Alpamayo veröffentlicht all das zusammen: Modelle, die sowohl eine Trajektorie als auch eine schriftliche Ursache dafür ausgeben, die Werkzeuge, um sie im geschlossenen Regelkreis anzupassen und zu testen, und ein kleineres Modell, das in das Rechen- und Latenzbudget eines Autos passen soll.
Wichtigste Punkte
- Vier offene Fahr-VLA-Checkpoints: Alpamayo 1 und 1.5 mit 10B, Alpamayo 2 Super mit 34B und Alpamayo 2 Edge der 2B-Klasse
- Jedes Modell gibt 64 künftige Posen über 6,4 Sekunden zusammen mit einer schriftlichen Chain-of-Causation-Erklärung aus
- Alpamayo 2 Edge, erschienen am 10. November 2026, führt seine Beispiele mit 16 GB GPU-Speicher aus und zielt auf NVIDIA DRIVE AGX Thor
- AlpaSim und AlpaGym bieten Simulation im geschlossenen Regelkreis und Reinforcement Learning für Fahrstrategien
- Der Developer Hub enthält Rezepte für Fine-Tuning, Reinforcement Learning, Destillation, spekulatives Decoding und Quantisierung
- Code unter Apache-2.0, Gewichte unter OpenMDW-1.1; für den Fahrdatensatz gilt eine engere NVIDIA-Lizenz
Für wen
- Forschende im autonomen Fahren, die an durchgängiger und begründender Planung arbeiten
- AV-Teams, die ein Lehrermodell zum Destillieren oder ein kompaktes Modell zum Fine-Tuning mit eigenen Flottendaten suchen
- Forschende in Simulation und Reinforcement Learning, die eine Fahrumgebung im geschlossenen Regelkreis brauchen
- Forschende zu Vision-Language-Action-Modellen und erklärbaren Entscheidungen in sicherheitskritischen Umgebungen
Einschränkungen
- Für Autos gebaut: Die Modelle erwarten das Mehrkamerasystem eines Fahrzeugs, die Eigenbewegungshistorie und kalibrierte Kameras, und nichts bei NVIDIA zeigt ihren Einsatz auf anderen Robotern
- Forschungswerkzeuge, kein Fahr-Stack: NVIDIA sagt, Alpamayo 1 und 1.5 dienen Forschung und Evaluierung und sind nicht nach Automobilstandard validiert
- Die Modellkarten von Alpamayo 1 und 1.5 nennen für die Gewichte OpenMDW-1.1, sagen aber auch, sie seien für nichtkommerzielle Nutzung bereit, mit kommerzieller Lizenz auf Anfrage; vor kommerzieller Nutzung bei NVIDIA nachfragen
- Der Fahrdatensatz ist zugangsbeschränkt und nur für die interne Entwicklung autonomer Fahrzeuge mit NVIDIA-Technik lizenziert, ohne Weitergabe, und die Lizenz endet 12 Monate nach dem Download
- GPU-Speicher: mindestens 16 GB für Alpamayo 2 Edge, 24 GB für Alpamayo 1 und 1.5; Alpamayo 2 Super wurde auf einer H100 mit 80 GB getestet, und Echtzeitbetrieb im Auto braucht DRIVE AGX Thor
- Das Rezept für den Einsatz von 2 Edge auf DRIVE AGX Thor beschreibt NVIDIAs Blog, aber das README des Hub vom 11. November 2026 führt es noch als geplant
- Ergebnisse aus Benchmarks, Simulation und Fahrzeug sind NVIDIAs eigene Evaluierungen und Aussagen von Partnern
- Alpamayo 1 wird nur noch eingeschränkt gepflegt, und AlpaGym ist in früher Entwicklung und unterstützt nur Alpamayo 1.5