VIMA: General Robot Manipulation with Multimodal Prompts
저자: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023
라이선스
- 오픈 액세스
- 논문: CC BY 4.0
아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.
요약
조작 작업을 텍스트와 이미지가 교차하는 프롬프트로 표현하고, VIMA-Bench 벤치마크를 추가하며, Gato 방식 설계보다 일반화가 뛰어난 객체 토큰·교차 어텐션 기반 에이전트를 제안합니다.
중요한 이유
하나의 프롬프트 인터페이스로 목표 도달, 원샷 영상 모방, 새로운 개념 그라운딩, 제약 조건 충족을 모두 다루므로, 단일 정책을 이들 전반에 걸쳐 학습하고 비교할 수 있습니다. 어블레이션은 구체적인 설계 지침을 제공합니다. 가변 길이 객체 토큰과 교차 어텐션 조건화가 원시 픽셀 토크나이저와 디코더 전용 조건화보다 우수하며, 그 차이는 소형 모델과 새로운 작업에서 가장 큽니다.
문제
로봇 작업은 원샷 시연, 언어 지시, 시각적 목표 등 여러 형태로 지정되며, 이들은 보통 서로 다른 아키텍처, 목적 함수, 데이터 파이프라인을 갖춘 전문화된 모델로 다뤄집니다. 멀티모달 프롬프트 작업 모음과 체계적인 일반화 테스트를 함께 제공하는 벤치마크는 없었습니다.
제안 방법
작업은 텍스트와 이미지를 교차 배치한 프롬프트로 작성됩니다. VIMA는 사전 학습된 T5-Base 인코더로 프롬프트를 인코딩하고, 이미지를 객체 토큰(Mask R-CNN 바운딩 박스와 ViT로 인코딩한 크롭)으로 변환하며, 인과적 셀프 어텐션과 프롬프트에 대한 교차 어텐션을 번갈아 수행하는 트랜스포머로 픽 앤 플레이스 또는 밀기 동작을 위한 이산화된 엔드 이펙터 자세를 디코딩합니다. 학습은 VIMA-Bench에서 행동 복제로 이루어지며, VIMA-Bench는 17개 작업 템플릿, 65만 개의 성공한 전문가 궤적(작업당 5만 개, 3절; 초록에서는 이를 60만 개 이상으로 반올림함), 4단계 일반화 프로토콜을 갖춘 Ravens/PyBullet 확장입니다.
핵심 통찰
- 객체 토큰은 원시 픽셀 토크나이저(이미지 패치, Image Perceiver, 단일 이미지 토큰)보다 성능이 뛰어납니다. 저자들은 픽셀 토크나이저가 픽셀에서 객체를 파싱하는 데 용량을 소모한다고 가정합니다.
- 객체를 고정된 수의 토큰으로 다운샘플링하는 방식(Object Perceiver)은 동일한 바운딩 박스 입력을 사용하더라도 가변 길이 객체 시퀀스를 그대로 전달하는 방식보다 크게 뒤처집니다.
- 교차 어텐션 조건화는 소형 모델과 L4 새로운 작업에서 가장 중요하며, 더 큰 모델에서는 디코더 전용 변형도 비슷한 성능에 도달합니다.
- 프롬프트 인코더 크기(T5 small 30M, base 111M, large 368M)는 유의미한 차이를 만들지 않았으므로 T5-Base를 기본값으로 사용합니다.
- 객체 증강(무작위로 삽입한 거짓 양성 검출)을 적용하면, 미세 조정된 Mask R-CNN은 정답 박스 대비 성능 손실이 적습니다.
주요 결과
- 200M 파라미터 컨트롤러: VIMA-Bench 평균 성공률 81.5%(L1), 81.5%(L2), 78.7%(L3), 48.6%(L4), VIMA-Gato는 58.0%, 53.1%, 46.0%, 16.8%.
- 20M 컨트롤러 기준 L4(새로운 작업): VIMA 48.8%, VIMA-Gato 12.3%로, '최대 2.9배' 상대적 향상의 근거입니다.
- 데이터의 10%로 학습한 VIMA는 L4에서 46%에 도달하며, 전체 데이터셋으로 학습한 VIMA-Gato는 12.2%입니다('2.7배' 수치).
- 데이터의 1%로 학습해도 VIMA는 L1과 L2에서 10배 많은 데이터로 학습한 기준선과 비슷한 성능을 냅니다.
- 더 어려운 수준으로 갈수록 VIMA는 L1에서 L2, L3로의 성능 저하가 미미한 반면, 기준선은 최대 20%까지 저하됩니다. L4에서 VIMA의 하락 폭은 기준선의 절반입니다.
한계
- 별도의 객체 검출기에 의존하며 그 오류를 그대로 물려받습니다. 이러한 오류는 가려짐이 있거나 분포 밖 형태의 객체에서 발생할 수 있습니다.
- 시뮬레이터의 사실성과 작업 복잡도가 제한적입니다. VIMA-Bench는 물리적 사실성이 아니라 멀티태스크 능력, 일반화, 멀티모달 이해를 목표로 합니다.
- 행동 프리미티브가 제한적입니다. Transporter에서 가져온 고수준 픽 앤 플레이스와 밀기/닦기 동작만 있으며, 관절 토크 같은 저수준 제어에는 수정이 필요합니다.
- 모든 실험은 시뮬레이션에서 수행되었으며, 논문 자체의 실제 로봇 실험은 보고되지 않았습니다.
- VIMA를 포함한 모든 방법이 L4 새로운 작업에서 크게 저하되며, VIMA도 평균 성공률이 50% 미만에 머뭅니다.
분야에 미친 영향
ICML 2023에 게재되었습니다. Semantic Scholar 기준 인용 수는 655회입니다(2026년 11월 14일). 저자들은 시뮬레이션 환경(VIMA-Bench), 학습 데이터셋, 알고리즘 코드, 사전 학습된 모델 체크포인트를 오픈 소스로 공개했습니다.
초록
프롬프트 기반 학습은 자연어 처리에서 성공적인 패러다임으로 부상했으며, 여기서는 단일 범용 언어 모델에 입력 프롬프트로 지정된 어떤 작업이든 수행하도록 지시할 수 있습니다. 그러나 로봇 공학에서 작업 지정은 원샷 시연 모방, 언어 지시 따르기, 시각적 목표 도달 등 다양한 형태로 이루어집니다. 이들은 흔히 서로 다른 작업으로 간주되어 전문화된 모델로 다뤄집니다. 우리는 텍스트 토큰과 시각 토큰을 교차 배치한 멀티모달 프롬프트로 광범위한 로봇 조작 작업을 표현할 수 있음을 보입니다. 이에 따라 멀티모달 프롬프트를 갖춘 절차적으로 생성된 수천 개의 테이블 위 작업, 모방 학습을 위한 60만 개 이상의 전문가 궤적, 체계적 일반화를 위한 4단계 평가 프로토콜로 구성된 새로운 시뮬레이션 벤치마크를 개발했습니다. 또한 이러한 프롬프트를 처리하고 모터 행동을 자기회귀적으로 출력하는 트랜스포머 기반 로봇 에이전트 VIMA를 설계했습니다. VIMA는 강력한 모델 확장성과 데이터 효율성을 달성하는 레시피를 갖추고 있습니다. 가장 어려운 제로샷 일반화 설정에서 동일한 학습 데이터로 다른 설계보다 작업 성공률이 최대 2.9배 높습니다. 학습 데이터가 10분의 1일 때도 VIMA는 가장 우수한 경쟁 변형보다 2.7배 더 좋은 성능을 냅니다. 코드와 영상 데모는 https://vimalabs.github.io/ 에서 볼 수 있습니다.
링크
- arXiv 2210.03094: https://arxiv.org/abs/2210.03094
- PDF: https://arxiv.org/pdf/2210.03094v2
- 코드: https://github.com/vimalabs/VIMA
- 프로젝트 페이지: https://vimalabs.github.io/