NVIDIA Alpamayo
NVIDIA 開放的駕駛 VLA 模型:規劃路徑並說明理由,附模擬、強化學習與資料
授權條款
Apache 2.0
程式碼:Apache-2.0,適用於 Developer Hub 以及每個模型、模擬器與工具儲存庫;資料集開發套件為 MIT。模型權重:四個檢查點皆為 OpenMDW-1.1。它允許使用、修改與再散布,包括商業用途,前提是保留授權文字與聲明;任何人若提起訴訟、主張模型侵害專利或著作權,其授權即終止。Alpamayo 1 與 1.5:它們的模型卡也寫明模型可供非商業用途、商業授權需另行洽詢,這與 OpenMDW-1.1 互相矛盾;商業使用前請先詢問 NVIDIA。資料集:Physical AI Autonomous Vehicles 資料集採用 NVIDIA Autonomous Vehicle Dataset License,在 Hugging Face 上須申請存取:僅限採用 NVIDIA 技術的自動駕駛與駕駛輔助內部開發,可撤銷,不得再散布或製作衍生資料集,不得識別個人,並在下載 12 個月後終止。於 2026-11-11 對照 LICENSE 檔案與 README、Hugging Face 上的模型卡與資料集卡,以及 openmdw.ai 核對。
概述
NVIDIA Alpamayo 是 NVIDIA 為基於推理的自動駕駛研究所推出的開放平台。其核心是一系列視覺-語言-動作(VLA)模型:它們讀取車身四周攝影機的影片、車輛最近的運動與一條導航指令,輸出接下來 6.4 秒的行駛路徑,並附上對這項決策的書面說明,NVIDIA 稱之為 Chain-of-Causation 推理。目前開放四個檢查點:10B 參數的 Alpamayo 1 與 Alpamayo 1.5、34B 的 Alpamayo 2 Super,以及 2B 級的 Alpamayo 2 Edge;後者於 2026 年 11 月 10 日發布,用於在車內的 NVIDIA DRIVE AGX Thor 上執行。圍繞這些模型的還有:用於閉環駕駛模擬的 AlpaSim、在該模擬器中進行強化學習的 AlpaGym、為駕駛片段撰寫推理標籤的處理流程、Physical AI Autonomous Vehicles 資料集,以及提供微調、強化學習、蒸餾與量化配方的 Alpamayo Developer Hub。程式碼採用 Apache-2.0,模型權重採用 OpenMDW-1.1;資料集則有 NVIDIA 自己、範圍較窄的授權。
NVIDIA 於 2026 年 1 月在 CES 上發表 Alpamayo,作為一系列針對自動駕駛車輛的開放模型、模擬工具與資料集,並在這一年持續擴充。GitHub 上的 Alpamayo Developer Hub 是這個系列的主頁:它連結到每個模型、模擬器與資料集的儲存庫,並收錄後訓練配方。
每個 Alpamayo 模型都是結構相同的 VLA 模型。來自 NVIDIA Cosmos 系列的視覺語言模型 (VLM) 骨幹讀取短時間內多支攝影機的畫面、車輛最近的運動與一條文字指令,並寫出一段簡短說明,交代它看到什麼、接下來要做什麼:這就是 Chain-of-Causation(CoC)軌跡,把決策與引發決策的物體和事件連結起來。接著,一個以擴散為基礎的動作專家把它轉成一條軌跡:以 0.1 秒為間隔的 64 個未來位姿,涵蓋 6.4 秒。此方法在 NVIDIA 的 Alpamayo-R1 論文中有說明。目前開放四個檢查點:
- Alpamayo 1 Nano,最初以 Alpamayo-R1 發布(權重):10B 參數,由 8.2B 的 Cosmos-Reason 骨幹與 2.3B 的動作專家組成,使用四支前方與側面攝影機,至少需要 24 GB 的 GPU 記憶體。其儲存庫目前只做有限維護。 - Alpamayo 1.5 Nano(權重):以 Cosmos-Reason2 為基礎的 10B 參數模型,經強化學習後訓練,新增導航指令、可變的攝影機數量,以及回答場景相關問題的能力。 - Alpamayo 2 Super(權重):34B 參數,由 32B 的 Cosmos 3 骨幹與 2.3B 的動作專家組成,支援環景攝影機、禮讓、變換車道、停車等高層決策、2D 定位與自動標註。NVIDIA 將它定位為教師模型,用來訓練較小的車載模型。 - Alpamayo 2 Edge(權重),2026 年 11 月 10 日發布:2.45B 的骨幹來自以 Nemotron 為基礎的 Cosmos 3 Edge,另有 0.2B 的動作專家。它讀取六支攝影機(22 幀)、20 個過去位姿與一條導航指令,只在情況需要時才寫出推理,也能回答關於場景的自由提問;執行其 BF16 範例至少需要 16 GB 的 GPU 記憶體,下載約 5.3 GB。
根據 NVIDIA 的 Alpamayo 2 Edge 部落格文章,該模型先以 Alpamayo 2 Super 寫出的推理標籤蒸餾而成,再於 AlpaGym 中進行閉環強化學習,使其閉環駕駛表現比未經這一步的最佳檢查點提升 48.9%。經過 FP8 校正、TensorRT 引擎與 DFlash2 推測式解碼後,NVIDIA 回報在 DRIVE AGX Thor(NVIDIA 為汽車打造的電腦)上,從攝影機像素到軌跡需 160 到 190 ms。
在模型之外,AlpaSim 是一套開放的模擬器,用來在閉環中測試駕駛策略,每個決策都會改變車輛接下來看到的內容。它把駕駛者、算繪器、交通、控制器與物理作為獨立服務執行,這些服務可以放在不同的 GPU 上;它透過 NuRec 神經重建或生成式影片模型算繪真實錄製的場景,也能執行第三方策略。AlpaGym 在 AlpaSim 之上以 Cosmos-RL 與 GRPO 加入強化學習,獎勵涵蓋碰撞、駛離道路與行駛進度。CoC 自動標註器找出片段中駕駛者做出決策的時刻,並以視覺語言模型為這些時刻寫出 CoC 軌跡。
Physical AI Autonomous Vehicles 資料集包含來自 25 個國家、超過 2,500 個城市的 1,700 小時駕駛資料,分為 306,151 個 20 秒的片段;每個片段都有七支攝影機,298,325 個片段有光達 (LiDAR),160,760 個片段有雷達;可用 Python 開發套件讀取。存取前須在 Hugging Face 上接受 NVIDIA 的授權,模型範例也從這裡載入輸入。
Developer Hub 的配方涵蓋全部四個模型的監督式微調、Alpamayo 1 與 1.5 以 Cosmos-RL 和 GRPO 進行的強化學習、蒸餾成較小的模型、用於推測式解碼的草稿模型,以及 Alpamayo 1.5 的 FP8 與 NVFP4 量化。NVIDIA 表示最新的模型以約 115,000 小時的多攝影機駕駛影片與約 3,700,000 條 CoC 軌跡訓練,Alpamayo 1 與 1.5 則用 80,000 小時。
為何重要
大多數開源自動駕駛軟體要不是模組化的軟體堆疊,就是像 Autoware Foundation 的 Vision Pilot 那樣,以單一攝影機提供 Level 2 駕駛輔助。Alpamayo 則不同:它是端到端的 VLA 駕駛模型,在單一網路中從攝影機影片直接得出路徑,並用文字說明為什麼這樣選擇;同時開放權重、推論程式碼、訓練配方、閉環模擬器、強化學習框架與大型資料集。研究人員因此可以研究並調整基於推理的駕駛,而不必先自行建立周邊的資料、模擬與訓練。它也是把基礎模型帶進安全關鍵車輛任務最清楚的公開案例之一:它與 Cosmos Predict 2.5 和 Cosmos Policy 同屬 NVIDIA Cosmos 系列,並像 NVIDIA Isaac GR00T 等機器人 VLA 一樣,結合視覺語言模型與擴散動作模型。有了 Alpamayo 2 Edge,這個系列的規模已能在單張工作站 GPU 上執行,依 NVIDIA 的說法也能在車內執行。
解決的問題
只靠資料學習的端到端駕駛模型能妥善處理一般交通,但在罕見情況下很脆弱,也不會解釋自己的行為,因此難以信任與驗證。要建立替代方案,需要大型駕駛資料集、推理標籤、閉環模擬器與訓練環境,而大公司以外很少有團隊具備這些條件。Alpamayo 把這些一起開放:同時輸出軌跡與書面原因的模型、在閉環中微調與測試它們的工具,以及一個為符合車內運算與延遲預算而設計的較小模型。
重點
- 四個開放的駕駛 VLA 檢查點:10B 的 Alpamayo 1 與 1.5、34B 的 Alpamayo 2 Super,以及 2B 級的 Alpamayo 2 Edge
- 每個模型都輸出涵蓋 6.4 秒的 64 個未來位姿,並附上書面的 Chain-of-Causation 說明
- Alpamayo 2 Edge 於 2026 年 11 月 10 日發布,範例可在 16 GB 的 GPU 記憶體上執行,目標平台為 NVIDIA DRIVE AGX Thor
- AlpaSim 與 AlpaGym 為駕駛策略提供閉環模擬與強化學習
- Developer Hub 提供微調、強化學習、蒸餾、推測式解碼與量化的配方
- 程式碼為 Apache-2.0,權重為 OpenMDW-1.1;駕駛資料集採用範圍較窄的 NVIDIA 授權
適用對象
- 研究端到端與基於推理之規劃的自動駕駛研究人員
- 需要可蒸餾的教師模型,或可用自家車隊資料微調之精簡模型的自動駕駛團隊
- 需要閉環駕駛環境的模擬與強化學習研究人員
- 研究 VLA(視覺-語言-動作)模型以及安全關鍵情境中可解釋決策的研究人員
限制
- 為汽車打造:模型需要車輛的多攝影機系統、自車運動紀錄與校正過的攝影機,NVIDIA 並未展示它們用在其他機器人上
- 是研究工具,不是駕駛軟體堆疊:NVIDIA 表示 Alpamayo 1 與 1.5 用於研究與評估,未經車規等級驗證
- Alpamayo 1 與 1.5 的模型卡將權重授權列為 OpenMDW-1.1,卻也寫明模型可供非商業用途、商業授權需另行洽詢;商業使用前請先詢問 NVIDIA
- 駕駛資料集須申請存取,只授權用於採用 NVIDIA 技術的自動駕駛內部開發,不得再散布,授權在下載 12 個月後終止
- GPU 記憶體:Alpamayo 2 Edge 至少 16 GB,Alpamayo 1 與 1.5 需 24 GB;Alpamayo 2 Super 在一張 80 GB 的 H100 上測試,車內即時執行需要 DRIVE AGX Thor
- 2 Edge 在 DRIVE AGX Thor 上的部署配方見於 NVIDIA 的部落格,但 Hub 在 2026 年 11 月 11 日的 README 中仍列為規劃中
- 基準測試、模擬與實車結果都是 NVIDIA 自己的評估與合作夥伴的說法
- Alpamayo 1 目前只做有限維護,AlpaGym 仍在早期開發階段,只支援 Alpamayo 1.5