OpenVLA

로봇 조작을 위한 70억 매개변수 비전-언어-액션 모델

라이선스

MIT

개요

로봇 조작을 위한 70억 매개변수 오픈소스 비전-언어-액션 모델입니다. OpenVLA는 970k개의 실제 로봇 시연으로 학습되었으며, 29개 작업에서 절대 작업 성공률 기준으로 RT-2-X(550억)를 16.5% 앞서면서도 매개변수는 7배 적습니다. Llama 2 언어 모델에 DINOv2 및 SigLIP 시각 인코더를 결합해 구축되었으며, 일반 소비자용 GPU에서 미세 조정할 수 있고, 강력한 언어 그라운딩 능력과 함께 다중 작업 환경에서 뛰어난 일반화 성능을 보여 줍니다.

OpenVLA는 범용 로봇 조작을 위해 설계된 70억 매개변수 오픈소스 비전-언어-액션(VLA) 모델입니다. 29개 작업에 걸친 970,000개의 실제 로봇 시연으로 학습되었으며, RT-2-X(550억 매개변수) 같은 비슷한 모델보다 7배 작으면서도 최첨단 성능을 달성합니다. Llama 2 언어 모델에 DINOv2 및 SigLIP 시각 인코더를 결합해 구축된 OpenVLA는 다중 작업 환경에서 뛰어난 일반화 능력을 보여 주며, 일반 소비자용 GPU에서 미세 조정할 수 있어 전 세계 연구자와 개발자가 첨단 로보틱스 AI를 활용할 수 있게 합니다.

중요한 이유

OpenVLA는 70억 파라미터 모델이 훨씬 더 큰 모델(550억 파라미터의 RT-2-X)보다 로봇 조작에서 더 나은 성능을 낼 수 있음을 증명하여, 비전-언어-행동 모델을 일반 소비자용 하드웨어에서도 실용적으로 사용할 수 있게 만들었습니다. 오픈소스 로봇 기반 모델이 독점 모델과 경쟁할 수 있음을 입증했습니다.

해결하는 문제

RT-2-X와 같은 이전 로봇 파운데이션 모델은 막대한 컴퓨팅 자원(550억 파라미터)을 필요로 하여 대부분의 연구자들이 접근하기 어려웠습니다. OpenVLA는 효율적인 아키텍처로 비용의 일부만으로 더 나은 결과를 달성할 수 있음을 보여주며, 로봇 파운데이션 모델 연구의 민주화를 이끌고 있습니다.

핵심 요점

• 7배 적은 파라미터로 RT-2-X(55B)보다 16.5% 높은 성능
• Llama 2 + DINOv2 + SigLIP 기반: 검증된 LLM과 비전 백본을 활용
• 단일 GPU에서 LoRA로 파인튜닝 가능(저자들은 A100 한 장을 사용)
• 실제 환경의 로봇 시연 970K건으로 훈련
• 강력한 언어 그라운딩으로 29개 작업에 걸쳐 지시를 따를 수 있음

대상

• 제한된 컴퓨팅 예산을 가진 ML 연구자
• 특정 작업을 위해 파인튜닝하는 로봇 공학 연구실
• 비전-언어-행동 모델을 탐구하는 학생
• 로봇 파운데이션 모델 접근법을 평가하는 기업

한계

• 주로 테이블 위 조작으로 학습됨 — 유사한 시나리오에 제한적
• 추론에 GPU 필요(최적화 없이는 엣지 배포에 부적합)
• 파인튜닝에는 여전히 실제 로봇 시연 데이터가 필요
• 언어 기반 이해 능력은 단순한 작업 지시에서 가장 잘 작동