GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

저자: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

38M개의 웹 클립으로 비디오 예측을 사전 학습한 GPT 방식의 모델을 미래 프레임과 행동 궤적을 출력하도록 미세 조정했다. 105개의 실제 테이블 작업에서 97.7%의 성공률을 보인다.

중요한 이유

이 보고서는 매니퓰레이션 정책이 원래라면 로봇 데이터에서 얻어야 할 지식의 상당 부분을 웹 비디오가 담을 수 있음을 보여 준다. GR-2는 작업당 약 50개의 시연만으로 105개 작업에서 73.9%의 성공률에 도달하고, 보지 못한 배경과 주방에서 GR-1의 성공률을 대략 두 배로 높인다. 투명하거나 변형 가능하거나 반사되는 물품을 포함한 122개 물체에 대한 빈 피킹 시험은 저자들이 모델 기반 방법에게는 어려울 수 있다고 언급하는 산업 작업을 겨냥한다.

문제

대규모 로봇 데이터 수집은 느리고 실제 로봇 시스템은 확장성이 낮아, 매니퓰레이션 정책이 얼마나 범용적이 될 수 있는지가 제한된다. 범용 에이전트는 많은 기술을 학습하면서도 새로운 배경, 환경, 물체, 지시에 대처해야 한다. 저자들의 이전 연구인 GR-1은 비디오 생성 사전 학습이 정책 학습에 도움이 된다는 것을 보였지만, 80만 개의 비디오를 사용했고 보지 못한 장면에 대한 일반화가 약했다.

제안 방법

GR-2는 언어 조건부 GPT 방식 트랜스포머다. 고정된 텍스트 인코더가 지시를 토큰화하고, 고정된 VQGAN이 각 프레임을 이산 토큰으로 바꾸며, 로봇 상태(엔드 이펙터 자세와 그리퍼 상태)는 선형 레이어를 거친다. 먼저 인간 활동 데이터셋과 공개 로봇 데이터셋에서 가져온 3,800만 개의 텍스트-비디오 클립(초록에 따르면 500억 개가 넘는 토큰, Section 2.1에 따르면 약 500억 개)으로 미래 프레임을 예측하도록 사전 학습된 뒤, 다중 시점 로봇 데이터로 미래 이미지와 함께 조건부 VAE에서 나오는 행동 궤적을 예측하도록 미세 조정된다. 실제 로봇 팔에서는 전신 제어 알고리즘이 데카르트 궤적을 매끄럽게 하고 이를 충돌 제약과 함께 200 Hz로 실행되는 관절 명령으로 변환한다.

핵심 통찰

사전 학습을 GR-1의 80만 개 비디오에서 3,800만 개 클립으로 확장하고, 사전 학습된 지식을 미세 조정까지 전달하도록 설계된 아키텍처를 함께 사용하자 Unseen Backgrounds와 Unseen Environments 설정에서 GR-1의 성공률이 대략 두 배가 되었다.
단일 단계 행동 대신 행동 궤적을 생성하는 것이 궤적의 매끄러움과 실시간 성능 모두에 결정적인 것으로 나타났다.
예측된 비디오는 실제 롤아웃과 밀접하게 일치하므로, 행동 출력은 사실상 예측된 비디오를 '재생'한다. 저자들은 더 나은 행동으로 가는 경로로 비디오 생성 개선을 제안한다.
합성 증강(확산 기반 물체 삽입, SAM 기반 배경 교체, 비디오 재생성)으로 Unseen Environments 성공률이 71.7%에서 87.0%로 높아졌다.
학습 가능한 매개변수가 30M에서 719M으로 늘어남에 따라 비디오 예측 검증 손실과 실제 로봇 성공률이 모두 개선되었다.

주요 결과

다중 작업 학습: 원격 조작 궤적 약 40,000개로 미세 조정한 뒤, Simple 설정에서 8가지 기술에 걸친 105개 테이블 작업에서 평균 97.7%의 성공률.
일반화: Unseen Backgrounds에서 71.4%, Unseen Environments에서 71.7%로 GR-1의 약 두 배다. 데이터 증강을 적용하면 Unseen Environments에서 87.0%, 세 가지 일반화 설정 평균 74.7%이며, Unseen Manipulation에서는 55.8%이다.
작업당 약 50개 궤적(데이터의 약 1/8)으로 한 저데이터 학습: Simple 설정에서 73.9%이며, 세 가지 일반화 설정 모두에서 GR-1을 능가했다.
55개 물체의 궤적 약 94,000개로 학습하고 122개 물체(67개는 처음 보는 물체)로 시험한 엔드투엔드 빈 피킹: 평균 성공률 79.0%로 GR-1의 33.3%보다 높다.
CALVIN ABCD→D: 작업 1개 연속에서 98.6%, 작업 5개 연속에서 85.9%의 성공률(GR-1: 94.9%와 73.1%)이며, 평균 길이는 4.21에서 4.64로 늘었다.
기본 모델은 230M개의 매개변수를 가지며 그중 95M개가 학습 가능하다. 확장 실험에서는 30M, 95M, 312M, 719M개의 학습 가능한 매개변수를 사용한다.

한계

저자들은 보지 못한 매니퓰레이션을 가장 약한 영역(55.8%)으로 꼽는다. 전형적인 실패는 새로운 형상의 처음 보는 물체를 집지 못하는 것과, 처음 보는 물체를 요청받았을 때 엉뚱한 물체를 집는 것이다.
저자들이 밝힌 향후 과제는 특히 새로운 물체와 새로운 기술에 대한 행동 예측의 일반화와 강건성을 개선하는 것이다.
모든 실제 로봇 결과는 Robotiq 2F-85 그리퍼를 장착한 Kinova Gen3 팔이라는 단일 플랫폼에서 나왔다. 다른 구현체로의 전이는 시험되지 않았다.
보고서는 학습 연산량, 추론 하드웨어, 정책 지연 시간 수치를 제시하지 않으며, 설정별 수치 대부분은 그림에만 나타난다.
본문에는 코드, 모델 가중치 또는 로봇 데이터셋의 공개 여부가 명시되어 있지 않다.

분야에 미친 영향

이 ByteDance Research 기술 보고서의 인용 횟수는 377회이다. 프로젝트 페이지(gr2-manipulation.github.io)로 연결되지만, 본문에는 코드, 모델 가중치 또는 데이터의 공개가 명시되어 있지 않다.

초록

우리는 다재다능하고 일반화 가능한 로봇 매니퓰레이션을 위한 최첨단 범용 로봇 에이전트 GR-2를 제시한다. GR-2는 먼저 방대한 양의 인터넷 비디오로 사전 학습되어 세계의 동역학을 포착한다. 3,800만 개의 비디오 클립과 500억 개가 넘는 토큰을 포함하는 이 대규모 사전 학습은, 이후의 정책 학습에서 GR-2가 광범위한 로봇 작업과 환경에 걸쳐 일반화할 수 있는 능력을 갖추게 한다. 그다음 GR-2는 로봇 궤적을 사용하여 비디오 생성과 행동 예측 모두에 대해 미세 조정된다. GR-2는 인상적인 다중 작업 학습 능력을 보이며, 100개가 넘는 작업에서 평균 97.7%의 성공률을 달성한다. 또한 GR-2는 새로운 배경, 환경, 물체, 작업을 포함하여 이전에 보지 못한 새로운 시나리오에 대해 탁월한 일반화를 보여 준다. 특히 GR-2는 모델 크기에 따라 효과적으로 확장되며, 이는 지속적인 성장과 응용의 잠재력을 뒷받침한다. 프로젝트 페이지: https://gr2-manipulation.github.io.

링크

arXiv 2410.06158: https://arxiv.org/abs/2410.06158
DOI https://doi.org/10.48550/arxiv.2410.06158: https://doi.org/https://doi.org/10.48550/arxiv.2410.06158
PDF: https://arxiv.org/pdf/2410.06158v1
프로젝트 페이지: https://gr2-manipulation.github.io/