Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

NVIDIA Cosmos 3

추론하고 영상을 생성하며 로봇 동작을 예측하는 NVIDIA의 오픈 월드 모델

라이선스

OpenMDW 1.1

코드와 가중치: OpenMDW-1.1이며, NVIDIA/cosmos와 NVIDIA/cosmos-framework의 LICENSE 파일, 그리고 여기 나열한 모든 모델 카드에서 확인했습니다. GitHub에 NOASSERTION으로 표시되는 것은 이 라이선스를 인식하지 못하기 때문입니다. 라이선스 문구와 고지를 유지하면 상업적 이용을 포함한 사용, 수정, 재배포가 허용되고, 출력에는 제한이 없으며, 모델이 특허나 저작권을 침해한다고 주장하며 소송을 제기한 사람의 권리는 종료됩니다. 모델 카드에는 상업적, 비상업적 용도 모두에 쓸 수 있다고 적혀 있습니다. Guardrail: 영상 생성 빠른 시작에는 nvidia/Cosmos-1.0-Guardrail이 필요하며, 이 모델은 Hugging Face에서 접근이 제한되고 NVIDIA Open Model License를 따릅니다. 데이터셋: NVIDIA는 변환본 Cosmos3-DROID를 OpenMDW-1.1로 공개합니다. 원본 DROID 데이터는 그 저자들의 것이므로 저자 측 조건도 확인하세요. LeRobot: 이 정책들의 LeRobot 코드는 Apache-2.0입니다. 2026-11-11에 LICENSE 파일, Hugging Face의 모델 카드와 데이터셋 카드, openmdw.ai로 확인했습니다.

개요

NVIDIA Cosmos 3는 피지컬 AI를 위한 NVIDIA의 현재 오픈 월드 모델 제품군으로, 2026년 5월 31일에 공개되었습니다. 하나의 모델이 텍스트, 이미지, 영상, 소리, 로봇 동작을 읽고 쓰기 때문에, 같은 가중치로 장면을 설명하고, 다음에 일어날 일을 영상으로 생성하고, 동작의 결과를 시뮬레이션하고, 변화를 일으킨 동작을 추정하고, 로봇 정책으로 동작할 수 있습니다. 이전 Cosmos 버전은 이 일을 Cosmos Predict, Cosmos Transfer, Cosmos Reason 같은 별도의 모델에 나눠 맡겼습니다. 기본 크기는 세 가지로, Jetson 등 엣지 기기용 4B 파라미터의 Cosmos3-Edge, 대형 GPU 한 장용 16B의 Cosmos3-Nano, 데이터센터 GPU용 64B의 Cosmos3-Super가 있습니다. NVIDIA는 로봇 정책, 주행 및 로봇 시뮬레이션, 빠른 이미지·영상 생성을 위한 사후 학습 예제 체크포인트와 학습·서빙용 Cosmos Framework, 레시피 모음인 cookbook도 공개합니다. 코드와 가중치는 상업적 이용을 허용하는 OpenMDW-1.1이며, LeRobot 0.7이 2026년 11월에 Nano와 Edge를 로봇 정책으로 추가했습니다.

NVIDIA는 2026년 5월 31일 Cosmos 3를 공개했습니다. 가중치는 Hugging Face 컬렉션에, 코드는 GitHub에 있으며 기술 보고서(arXiv 2606.02800)도 함께 나왔습니다. NVIDIA/cosmos 저장소가 제품군의 본거지로, 모든 모델을 나열하고 레시피를 연결하며 Cosmos 3를 현재 모델 제품군이라고 부릅니다.

Cosmos 3는 월드 모델입니다. 장면이 시간에 따라 어떻게 바뀌는지 학습하므로 다음에 일어날 일을 예측하고 생성할 수 있습니다. NVIDIA가 옴니모달이라고 부르는 이유는 하나의 모델이 텍스트, 이미지, 영상, 오디오, 동작을 받아들이고 만들어 내기 때문이며, 구조는 Mixture-of-Transformers입니다. 쉽게 말해 각 층에 가중치 두 묶음이 있고, 이 둘이 하나의 어텐션 단계를 공유합니다. 추론기(reasoner)는 텍스트와 이미지를 읽고 토큰을 하나씩 써서 텍스트를 만듭니다. 비전 언어 모델과 같은 방식입니다. 생성기(generator)는 노이즈를 단계적으로 제거해 이미지, 영상, 소리, 동작을 만듭니다. 영상 확산 모델과 같은 방식입니다. 둘이 한 네트워크 안에 있으므로, 모델은 말로 계획을 세운 뒤 그에 맞는 영상이나 동작을 생성할 수 있습니다.

세 가지 기본 모델이 공개되어 있습니다.

- Cosmos3-Edge: 4B 파라미터. 2026년 7월 20일 Jetson AGX Orin, Jetson Thor, RTX Pro 6000용으로 공개되었습니다. 256p와 480p 영상을 생성하고 장면을 추론하며 동작을 출력하지만, 소리와 변환(transfer) 모드는 없습니다. - Cosmos3-Nano: 16B 파라미터. RTX Pro 6000, H100, B200 중 한 장에서 실행되며, NVIDIA는 사후 학습의 기본 모델로 소개합니다. - Cosmos3-Super: 64B 파라미터. H200, B200, GB200 시스템용으로, 최고 품질 출력, 합성 데이터, 증류의 교사 모델로 쓰입니다.

세 모델을 합치면 텍스트-이미지, 텍스트-영상, 이미지-영상(선택적으로 소리 포함), 에지·블러·깊이·분할 맵 기반 영상 변환, 영상의 다음 몇 초 예측, 시각 질의응답과 그라운딩, 순동역학(동작 다음에 이어지는 영상), 역동역학(영상 뒤의 동작), 로봇 정책을 다룹니다. 동작 쪽에서는 카메라 움직임, 자동차, 일인칭 손 자세, 단일 팔과 양팔 로봇, AgiBot 휴머노이드를 지원합니다.

cosmos3-examples 컬렉션에는 사후 학습된 체크포인트가 있습니다. Cosmos3-Nano-Policy-DROID와 Cosmos3-Edge-Policy-DROID는 DROID 환경의 Franka 팔을 위한 로봇 정책으로, Cosmos3-DROID로 학습했습니다. 이는 NVIDIA가 DROID를 LeRobot 데이터셋 형식으로 변환한 것입니다. 2026년 10월부터는 시뮬레이션 체크포인트 네 개가 Nano를 대화형 시뮬레이터로 바꿔, LiDAR가 포함된 다중 카메라 주행 영상, 양팔 로봇이 동작하는 동안의 시점, 시뮬레이터의 깊이나 분할 출력에서 만든 사실적인 영상을 생성합니다. Super에는 텍스트-이미지와 이미지-영상을 위한 4단계 학생 모델이 있고, Nano와 Super에는 FP8 버전도 있습니다.

Cosmos Framework는 모델의 학습과 서빙을 맡아 지도 미세 조정, LoRA, 증류, 강화 학습을 지원하며, 추론은 Diffusers, Transformers, vLLM, vLLM-Omni, SGLang으로 할 수 있습니다. NVIDIA는 TensorRT-LLM과 NIM도 꼽습니다. Cosmos cookbook은 레시피를 목표별, GPU 예산별로 정리합니다. 2026년 11월 5일의 LeRobot 0.7부터 Nano와 Edge는 LeRobot 정책 유형이 되었습니다. LeRobot 가이드는 정책이 다음 영상 프레임과 다음 동작 묶음을 함께 예측하는 방식을 설명하고, LIBERO, DROID, 새 로봇을 위한 미세 조정 레시피를 제공합니다.

NVIDIA의 주행 모델 Alpamayo 2는 Cosmos 3 백본을 바탕으로 만들어졌습니다.

중요한 이유

Cosmos 3는 우리가 이미 소개한 영상 월드 모델 Cosmos Predict 2.5와, Cosmos 영상 모델을 사후 학습해 로봇 정책으로 만드는 Cosmos Policy를 잇는 NVIDIA Cosmos의 최신 세대입니다. 이전에는 예측, 변환, 추론, 정책에 각각 별도의 모델이 필요했지만, NVIDIA는 Cosmos 3를 이들을 대체하는 하나의 모델로 설명합니다. 팀은 같은 가중치로 추론하고 시뮬레이션하고 동작할 수 있으며, 여러 개가 아닌 기본 모델 하나만 사후 학습하면 됩니다. 또한 영상 생성기이자 로봇 정책인 몇 안 되는 오픈 파운데이션 모델 중 하나입니다. NVIDIA Isaac GR00T처럼 VLA 방식의 컨트롤러로 미세 조정할 수 있지만, 동작과 함께 미래의 영상도 예측합니다. 4B의 Cosmos3-Edge와 LeRobot 통합 덕분에 GPU 한 장으로 정책을 미세 조정할 수 있고, NVIDIA는 Jetson Thor에서 실행된다고 보고합니다. 이로써 월드 모델 기반 정책이 데이터센터만이 아니라 연구실에서도 손에 닿게 됩니다.

해결하는 문제

로봇과 차량을 만드는 팀에는 장면을 이해하고, 학습 및 테스트 데이터를 생성하고, 동작의 결과를 시뮬레이션하고, 기계를 제어하는 모델이 필요한데, 지금까지는 별도의 모델과 별도의 학습 코드가 필요했습니다. 이런 모델을 처음부터 학습하려면 대부분의 그룹이 갖추지 못한 영상 데이터와 컴퓨팅 자원이 필요합니다. Cosmos 3는 이 모든 일을 하는 오픈 모델 제품군을 엣지 기기부터 데이터센터 GPU까지 세 가지 크기로 공개하고, 각 팀이 자신의 로봇, 차량, 카메라 데이터로 사후 학습할 수 있는 코드와 레시피도 제공합니다.

핵심 요점

  • 하나의 옴니모달 모델이 텍스트, 이미지, 영상, 소리, 로봇 동작을 읽고 씀
  • 공개된 기본 크기 세 가지: Cosmos3-Edge 4B, Cosmos3-Nano 16B, Cosmos3-Super 64B
  • 이전 Cosmos가 Predict, Transfer, Reason 모델에 나눴던 일을 하나로 합침
  • 사후 학습 예제는 DROID 로봇 정책, 주행 및 로봇 시뮬레이션, 빠른 생성을 다룸
  • LeRobot 0.7이 Nano와 Edge를 로봇 정책으로 실행하며 LIBERO와 DROID 레시피를 제공
  • 코드와 가중치는 상업적 이용을 허용하는 OpenMDW-1.1

대상

  • 월드 모델 기반 정책이나 시뮬레이터를 사후 학습하려는 로봇 학습 연구자
  • 합성 또는 다중 카메라 학습 데이터를 생성하는 자율주행 및 로보틱스 팀
  • Jetson 등 엣지 기기에 시각 추론이나 로봇 정책을 배포하는 개발자
  • 자기 로봇의 데이터로 월드 액션 모델을 미세 조정하려는 LeRobot 사용자

한계

  • Edge를 빼면 대형 GPU가 필요함: Nano 사후 학습 레시피는 GPU 8장 기준이고, NVIDIA가 권장하는 Super 서빙 구성은 데이터센터 GPU 8장을 쓰며, LeRobot에서 Nano를 완전히 미세 조정하려면 80 GB GPU가 최소 4장 필요함
  • Jetson에서 Edge는 데이터센터 GPU보다 훨씬 느림: NVIDIA 측정으로 DROID 정책 한 단계에 Jetson AGX Thor에서 약 6.3 s, H100에서 약 1.4 s
  • 빠른 시작의 영상 생성에는 접근이 제한된 Cosmos-1.0-Guardrail 모델이 필요하며, 이 모델은 OpenMDW-1.1이 아니라 NVIDIA Open Model License를 따름
  • NVIDIA는 길거나 고해상도이거나 물리적으로 복잡한 출력에서 물체 모양이 바뀌거나 움직임이 부자연스러운 등의 아티팩트가 생긴다고 밝히며, 안전이 중요한 용도에는 추가 검증이 필요하다고 함
  • 벤치마크 순위, 정책 성공률, 속도 수치는 NVIDIA와 LeRobot의 자체 측정임
  • LeRobot 통합은 새로운 기능으로, 2026년 11월 5일 LeRobot 0.7과 함께 공개됨
  • 모델 카드에서 테스트된 것은 BF16뿐이며, 공개된 FP8 체크포인트 외의 다른 정밀도는 공식 지원되지 않음
  • Cosmos3-DROID는 NVIDIA가 DROID 데이터셋을 변환한 것으로, DROID는 13개 기관이 수집했고 원본에는 자체 조건이 있음

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.