DreamZero

미래 영상과 로봇 행동을 함께 예측하는 NVIDIA의 World Action Model

라이선스

Apache-2.0

개요

사전 훈련된 비디오 확산 백본을 사용하여 미래 비디오 프레임과 로봇 동작을 공동으로 예측하는 NVIDIA 14B 파라미터 World Action Model. 보이지 않는 작업에 대한 제로샷 일반화와 30분의 데이터만으로 새로운 로봇 구현에 대한 퓨샷 적응을 달성합니다. 자동회귀 비디오 확산 아키텍처를 기반으로 구축된 DreamZero는 최첨단 비전-언어-동작 모델에 비해 일반화에서 2배 이상의 개선을 제공합니다.

DreamZero는 NVIDIA Research의 World Action Model(WAM)로, 사전 훈련된 비디오 확산 백본을 사용하여 미래 세계 상태와 로봇 동작을 공동으로 예측합니다. 관찰을 동작에 직접 매핑하는 기존 비전-언어-동작(VLA) 모델과 달리, DreamZero는 환경이 어떻게 진화하는지에 대한 밀집 표현으로 비디오를 활용하여 보이지 않는 작업 및 환경에 대한 강력한 제로샷 일반화를 가능하게 합니다.

주요 결과에는 AgiBot 데이터 세트(62.2% 대 27.4% 작업 진행률)와 DROID 데이터 세트(보이지 않는 동사에서 49% 대 25-32%)에서 최첨단 VLA에 비해 보이지 않는 작업에서 2배 이상의 개선이 포함됩니다. 모델은 DiT 캐싱 최적화를 통해 7Hz에서 실시간 폐쇄 루프 제어를 달성하며, GB200에서 약 0.6초, H100 GPU에서 약 3초의 추론 시간을 갖습니다.

DreamZero는 또한 교차 구현 전송을 시연하여 30분의 원격 조작 데이터만으로 YAM 로봇에 적응하여 기준선에 비해 42% 개선을 달성합니다. 14B 파라미터 모델은 WebSocket을 통한 분산 다중 GPU 추론을 지원하며 Apache 2.0 라이선스로 출시됩니다.

중요한 이유

NVIDIA의 DreamZero는 사전 학습된 비디오 확산 모델을 로보틱스용 월드 모델로 재활용할 수 있음을 보여줍니다. 미래의 비디오 프레임과 로봇 행동을 모두 함께 예측하여, 한 번도 학습한 적 없는 작업에 대해 제로샷 일반화를 달성합니다.

해결하는 문제

로봇 정책을 학습시키려면 작업마다 비용이 많이 드는 실제 환경 시연이 필요합니다. DreamZero는 이미 물리 세계의 역학을 이해하고 있는 사전 학습된 비디오 모델을 활용하여, 작업별 학습 데이터 없이도 로봇이 새로운 작업을 제로샷으로 수행할 수 있게 합니다.

핵심 요점

• 사전 학습된 비디오 확산 백본 위에 구축된 14B 파라미터 World Action Model
• 통합 모델에서 미래 비디오 프레임과 로봇 행동을 공동 예측
• 처음 보는 매니퓰레이션 작업에 대한 제로샷 일반화 달성
• 인터넷 규모의 비디오 사전 학습을 활용해 물리 세계를 이해
• 비디오 생성 모델과 로봇 제어 사이의 간극을 메움

대상

• 월드 모델 연구자
• 비디오-투-액션 모델 개발자
• NVIDIA 생태계 연구자
• 제로샷 로봇 정책 전이를 탐구하는 팀

한계

• 14B 파라미터로 상당한 GPU 자원이 필요함
• 제로샷 성능이 작업별 파인튜닝에 미치지 못할 수 있음
• 비디오 사전 학습 데이터 분포에 크게 의존함
• 비교적 새로운 접근 방식으로 실제 환경 검증이 제한적임