NVIDIA Alpamayo
경로를 계획하고 이유를 설명하는 NVIDIA의 오픈 주행 VLA 모델, 시뮬레이션·강화 학습·데이터 포함
라이선스
Apache 2.0
코드: Apache-2.0으로, Developer Hub와 모든 모델, 시뮬레이터, 도구 저장소에 적용됩니다. 데이터셋 개발 키트는 MIT입니다. 모델 가중치: 체크포인트 네 개 모두 OpenMDW-1.1입니다. 라이선스 본문과 고지를 유지하면 상업적 사용을 포함한 사용, 수정, 재배포를 허용하며, 모델이 특허나 저작권을 침해한다고 주장하며 소송을 제기한 사람의 라이선스는 종료됩니다. Alpamayo 1과 1.5: 모델 카드에는 비상업적 사용용이며 상업 라이선스는 요청 시 제공된다고도 적혀 있어 OpenMDW-1.1과 충돌합니다. 상업적 사용 전에 NVIDIA에 문의하십시오. 데이터셋: Physical AI Autonomous Vehicles 데이터셋은 NVIDIA Autonomous Vehicle Dataset License를 따르며 Hugging Face에서 접근 신청이 필요합니다. NVIDIA 기술을 쓰는 자율주행 및 운전자 보조의 내부 개발에만 쓸 수 있고, 철회될 수 있으며, 재배포나 파생 데이터셋 제작, 개인 식별이 금지되고, 다운로드 후 12개월에 종료됩니다. 2026-11-11에 LICENSE 파일과 README, Hugging Face의 모델 카드와 데이터셋 카드, openmdw.ai를 대조해 확인했습니다.
개요
NVIDIA Alpamayo는 추론 기반 자율주행 연구를 위한 NVIDIA의 오픈 플랫폼입니다. 핵심은 비전-언어-행동 모델 제품군으로, 차량 주위 카메라의 영상과 차량의 최근 움직임, 내비게이션 지시를 읽고 앞으로 6.4초 동안의 주행 경로와 그 결정을 설명하는 글을 함께 내놓습니다. NVIDIA는 이를 Chain-of-Causation 추론이라고 부릅니다. 공개된 체크포인트는 네 개입니다. 파라미터 10B의 Alpamayo 1과 Alpamayo 1.5, 34B의 Alpamayo 2 Super, 그리고 2026년 11월 10일에 공개된 2B급 Alpamayo 2 Edge로, Edge는 차량 안의 NVIDIA DRIVE AGX Thor에서 실행하기 위한 모델입니다. 그 주변에는 폐루프 주행 시뮬레이션을 위한 AlpaSim, 그 시뮬레이터에서 강화 학습을 하는 AlpaGym, 주행 클립에 추론 레이블을 작성하는 파이프라인, Physical AI Autonomous Vehicles 데이터셋, 그리고 파인튜닝, 강화 학습, 증류, 양자화 레시피를 담은 Alpamayo Developer Hub가 있습니다. 코드는 Apache-2.0, 모델 가중치는 OpenMDW-1.1이며, 데이터셋에는 NVIDIA 자체의 더 좁은 라이선스가 적용됩니다.
NVIDIA는 2026년 1월 CES에서 자율주행차를 위한 오픈 모델, 시뮬레이션 도구, 데이터셋 제품군으로 Alpamayo를 발표했고, 한 해 동안 계속 확장해 왔습니다. GitHub의 Alpamayo Developer Hub가 제품군의 거점으로, 모든 모델, 시뮬레이터, 데이터셋 저장소로 연결되며 사후 학습 레시피를 담고 있습니다.
모든 Alpamayo 모델은 같은 구조의 VLA 모델입니다. NVIDIA Cosmos 제품군의 비전 언어 모델 백본이 짧은 시간 동안의 여러 카메라 화면, 차량의 최근 움직임, 텍스트 지시를 읽고, 무엇이 보이고 무엇을 할지 짧게 설명하는 글을 씁니다. 이것이 Chain-of-Causation(CoC) 트레이스로, 결정을 그 원인이 되는 물체와 사건에 연결합니다. 이어서 확산 기반 액션 전문가가 이를 궤적으로 바꿉니다. 0.1초 간격의 미래 자세 64개로, 6.4초에 해당합니다. 이 방법은 NVIDIA의 Alpamayo-R1 논문에 설명되어 있습니다. 공개된 체크포인트는 다음 네 개입니다.
- Alpamayo 1 Nano, 처음에는 Alpamayo-R1로 공개(가중치): 10B 파라미터로, 8.2B의 Cosmos-Reason 백본과 2.3B의 액션 전문가로 이루어져 있고, 전방과 측방 카메라 네 대를 쓰며, GPU 메모리가 최소 24 GB 필요합니다. 저장소는 이제 제한적으로만 유지 관리됩니다. - Alpamayo 1.5 Nano(가중치): Cosmos-Reason2 기반의 10B 파라미터 모델로, 강화 학습으로 사후 학습되었고 내비게이션 지시, 가변적인 카메라 수, 장면에 대한 질문 응답을 추가했습니다. - Alpamayo 2 Super(가중치): 34B 파라미터로, 32B의 Cosmos 3 백본과 2.3B의 액션 전문가로 이루어져 있으며, 서라운드 카메라, 양보·차선 변경·정지 같은 상위 수준의 결정, 2D 그라운딩, 자동 레이블링을 지원합니다. NVIDIA는 이를 더 작은 차량용 모델을 학습시키기 위한 교사 모델로 소개합니다. - Alpamayo 2 Edge(가중치), 2026년 11월 10일 공개: Nemotron 기반의 Cosmos 3 Edge에서 가져온 2.45B 백본과 0.2B의 액션 전문가로 이루어져 있습니다. 카메라 여섯 대(22 프레임), 과거 자세 20개, 내비게이션 지시를 읽고, 상황이 필요로 할 때만 추론을 쓰며, 장면에 대한 자유로운 질문에도 답합니다. BF16 예제를 실행하려면 GPU 메모리가 최소 16 GB 필요하고, 다운로드는 약 5.3 GB입니다.
NVIDIA의 Alpamayo 2 Edge 블로그 글에 따르면, 이 모델은 Alpamayo 2 Super가 쓴 추론 레이블로 증류된 뒤 AlpaGym에서 폐루프 강화 학습을 거쳤고, 그 결과 이 단계를 거치지 않은 최고의 체크포인트보다 폐루프 주행이 48.9% 향상되었습니다. FP8 보정, TensorRT 엔진, DFlash2 추측 디코딩을 거친 뒤, NVIDIA가 자동차용으로 만드는 컴퓨터인 DRIVE AGX Thor에서 카메라 픽셀부터 궤적까지 160~190 ms가 걸린다고 NVIDIA는 밝힙니다.
모델 주변에서 AlpaSim은 주행 정책을 폐루프로 시험하는 오픈 시뮬레이터로, 각 결정이 차량이 다음에 보는 것을 바꿉니다. 운전자, 렌더러, 교통, 컨트롤러, 물리를 각각 별도 서비스로 실행하며 이들을 서로 다른 GPU에 둘 수 있고, 실제로 기록한 장면을 NuRec 신경 재구성이나 생성형 비디오 모델로 렌더링하며, 다른 회사의 정책도 실행합니다. AlpaGym은 Cosmos-RL과 GRPO로 AlpaSim 위에 강화 학습을 더하며, 충돌, 도로 이탈, 진행에 대한 보상을 씁니다. CoC 자동 레이블러는 클립에서 운전자가 결정을 내리는 순간을 찾아, 비전 언어 모델로 그 순간에 대한 CoC 트레이스를 씁니다.
Physical AI Autonomous Vehicles 데이터셋은 25개국 2,500개 이상의 도시에서 모은 1,700시간의 주행을 20초짜리 클립 306,151개에 담고 있습니다. 모든 클립에 카메라 일곱 대가 있고, 298,325개 클립에 LiDAR, 160,760개 클립에 레이더가 있으며, Python 개발 키트로 읽습니다. 접근하려면 Hugging Face에서 NVIDIA의 라이선스에 동의해야 하며, 모델 예제도 여기서 입력을 불러옵니다.
Developer Hub의 레시피는 네 모델 모두의 지도 파인튜닝, Alpamayo 1과 1.5에 대한 Cosmos-RL과 GRPO 기반 강화 학습, 더 작은 모델로의 증류, 추측 디코딩용 드래프트 모델, 그리고 Alpamayo 1.5의 FP8 및 NVFP4 양자화를 다룹니다. NVIDIA에 따르면 최신 모델은 약 115,000시간의 멀티 카메라 주행 영상과 약 3,700,000개의 CoC 트레이스로, Alpamayo 1과 1.5는 80,000시간으로 학습되었습니다.
중요한 이유
대부분의 오픈 자율주행 소프트웨어는 모듈형 스택이거나, Autoware Foundation의 Vision Pilot처럼 카메라 한 대로 동작하는 레벨 2 운전자 보조입니다. Alpamayo는 이와 다릅니다. 카메라 영상에서 경로까지 하나의 네트워크로 가고 왜 그 경로를 골랐는지 말로 설명하는 엔드투엔드 VLA 주행 모델이며, 가중치, 추론 코드, 학습 레시피, 폐루프 시뮬레이터, 강화 학습 프레임워크, 대규모 데이터셋과 함께 공개되었습니다. 덕분에 연구자들은 주변의 데이터, 시뮬레이션, 학습을 먼저 만들지 않고도 추론 기반 주행을 연구하고 자신에게 맞게 바꿀 수 있습니다. 또한 파운데이션 모델을 안전이 중요한 차량 작업에 적용한 가장 분명한 공개 사례 중 하나입니다. Cosmos Predict 2.5, Cosmos Policy와 같은 NVIDIA Cosmos 제품군에 속하며, NVIDIA Isaac GR00T 같은 로봇용 VLA처럼 비전 언어 모델과 확산 행동 모델을 결합합니다. Alpamayo 2 Edge로 이 제품군은 워크스테이션 GPU 한 장에서, 그리고 NVIDIA에 따르면 차량 안에서도 실행되는 규모에 이르렀습니다.
해결하는 문제
데이터만으로 학습하는 엔드투엔드 주행 모델은 흔한 교통 상황은 잘 다루지만, 드문 상황에서는 취약하고 자신의 행동에 이유를 대지 않아 신뢰하고 검증하기 어렵습니다. 대안을 만들려면 대규모 주행 데이터셋, 추론 레이블, 폐루프 시뮬레이터, 학습 환경이 필요한데, 대기업 밖에서 이를 갖춘 그룹은 많지 않습니다. Alpamayo는 이 모든 것을 함께 공개합니다. 궤적과 그 이유를 쓴 글을 모두 내놓는 모델, 이를 폐루프에서 파인튜닝하고 시험하는 도구, 그리고 차량의 연산과 지연 예산에 맞도록 설계된 더 작은 모델입니다.
핵심 요점
- 오픈 주행 VLA 체크포인트 네 개: 10B의 Alpamayo 1과 1.5, 34B의 Alpamayo 2 Super, 2B급 Alpamayo 2 Edge
- 모든 모델이 6.4초에 걸친 미래 자세 64개와 글로 쓴 Chain-of-Causation 설명을 함께 출력
- 2026년 11월 10일 공개된 Alpamayo 2 Edge는 16 GB GPU 메모리로 예제를 실행하며 NVIDIA DRIVE AGX Thor를 겨냥
- AlpaSim과 AlpaGym이 주행 정책을 위한 폐루프 시뮬레이션과 강화 학습을 제공
- Developer Hub에 파인튜닝, 강화 학습, 증류, 추측 디코딩, 양자화 레시피 제공
- 코드는 Apache-2.0, 가중치는 OpenMDW-1.1; 주행 데이터셋에는 더 좁은 NVIDIA 라이선스 적용
대상
- 엔드투엔드 및 추론 기반 계획을 연구하는 자율주행 연구자
- 증류할 교사 모델이나 자체 차량 데이터로 파인튜닝할 소형 모델이 필요한 자율주행 팀
- 폐루프 주행 환경이 필요한 시뮬레이션 및 강화 학습 연구자
- 비전-언어-행동 모델과 안전이 중요한 환경에서의 설명 가능한 결정을 연구하는 연구자
한계
- 자동차용으로 만들어짐: 모델은 차량의 멀티 카메라 구성, 자차 움직임 기록, 보정된 카메라를 전제로 하며, NVIDIA는 다른 로봇에서의 사용을 보여 주지 않음
- 연구용 도구이지 주행 스택이 아님: NVIDIA는 Alpamayo 1과 1.5가 연구와 평가용이며 차량 등급 검증을 거치지 않았다고 밝힘
- Alpamayo 1과 1.5의 모델 카드는 가중치 라이선스를 OpenMDW-1.1로 적으면서도 비상업적 사용용이며 상업 라이선스는 요청 시 제공된다고 함; 상업적 사용 전에 NVIDIA에 문의할 것
- 주행 데이터셋은 접근 신청이 필요하고 NVIDIA 기술을 쓰는 자율주행 내부 개발에만 허가되며 재배포가 금지되고, 라이선스는 다운로드 후 12개월에 종료됨
- GPU 메모리: Alpamayo 2 Edge는 최소 16 GB, Alpamayo 1과 1.5는 24 GB; Alpamayo 2 Super는 80 GB H100 한 장에서 시험되었고, 차량 내 실시간 실행에는 DRIVE AGX Thor가 필요함
- DRIVE AGX Thor용 2 Edge 배포 레시피는 NVIDIA 블로그에 설명되어 있지만, 2026년 11월 11일 자 Hub README에는 아직 계획 단계로 되어 있음
- 벤치마크, 시뮬레이션, 실차 결과는 NVIDIA 자체 평가와 파트너의 발언임
- Alpamayo 1은 이제 제한적으로만 유지 관리되고, AlpaGym은 개발 초기 단계로 Alpamayo 1.5만 지원함