R3M: A Universal Visual Representation for Robot Manipulation

저자: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

R3M은 Ego4D 영상과 캡션으로 고정 ResNet 인코더를 사전 학습한다. 이를 사용한 행동 복제는 12개 시뮬레이션 작업과 시연 20개를 사용한 실제 Franka에서 CLIP, MoCo, ImageNet 특징을 이긴다.

중요한 이유

인코더는 한 번의 호출로 불러올 수 있는 사전 학습된 ResNet18, ResNet34, ResNet50 가중치로 공개되므로, 팀은 비전 부분을 위한 도메인 내 데이터를 수집하지 않고도 몇 개의 시연으로 이미지 기반 조작 정책을 학습할 수 있다. 실제 로봇 작업은 대학원생의 아파트에서 작업당 원격 조작 시연 20개로 학습되었다.

문제

목표 도메인의 데이터로 이미지 기반 조작 정책을 엔드투엔드로 학습하는 것은 데이터가 많이 들고 일반화가 잘 되지 않는다. 로봇 공학에는 ImageNet 특징이나 BERT에 견줄 만한, 내려받아 어떤 조작 작업에든 재사용할 수 있는 사전 학습된 시각 모델이 없으며, 기존 로봇 데이터셋은 기껏해야 몇 개의 환경에서 제한된 수의 작업만 다룬다.

제안 방법

R3M은 언어 주석이 달린 3,500시간 이상의 자기 중심 사람 영상인 Ego4D로 ResNet 이미지 인코더를 학습하며, 세 가지 항을 사용한다. 시간적으로 가까운 프레임이 가깝게 임베딩되도록 하는 시간 대조 손실, 클립의 첫 프레임에서 이후 프레임으로의 변화가 캡션과 일치하는지 평가하는 영상-언어 정렬 손실, 그리고 희소하고 압축된 임베딩을 위한 L1 및 L2 페널티이다. 이후 인코더는 고정되며, 다운스트림 정책은 이미지 임베딩과 로봇 고유 감각을 연결한 입력 위의 2층 MLP로서 행동 복제로 학습된다.

핵심 통찰

• 일상적인 사람 영상(Ego4D)은 신체 구성이 로봇과 다름에도 로봇 시각 표현을 위한 사전 학습 데이터로 쓸 수 있다.
• 세 가지 학습 항 모두 기여한다. 영상-언어 정렬을 제거하면 가장 크게 떨어지며, 환경 평균으로 62.4%에서 53.2%로, Adroit에서는 65.0%에서 45.6%로 떨어진다.
• 데이터만으로는 성능 향상을 설명할 수 없다. 같은 Ego4D 프레임으로 학습한 MoCo는 Franka Kitchen과 Adroit에서 R3M보다 약 10% 낮고, MVP 모델은 약 20% 낮다.
• 희소성 페널티는 Franka Kitchen과 MetaWorld에서 도움이 되지만 Adroit에서는 이를 제거하는 것이 약간 도움이 되며, 저자들은 Adroit가 더 많은 시연을 사용하기 때문이라고 추정한다.
• R3M의 우위는 시험한 모든 카메라 시점과 시연 세트 크기에서 유지되는 반면, CLIP과 MoCo (345) 사이의 순위는 시점에 따라 바뀐다.

주요 결과

• MetaWorld, Franka Kitchen, Adroit의 12개 시뮬레이션 작업 전반에서 R3M은 약 62%의 평균 성공률에 도달하며, 이는 처음부터 학습하는 것보다 20% 넘게, CLIP, 지도 학습 ImageNet, MoCo (345) 특징보다 10% 넘게 높다.
• R3M은 3개 시뮬레이션 환경 모두와 12개 작업 중 11개에서 가장 좋은 방법이다.
• 절제 연구(Table 1, 전체 도메인): 전체 R3M 62.4%, 크롭 증강 없이 60.4%, L1 페널티 없이 59.4%, 언어 정렬 없이 53.2%.
• 데이터 대 목적 함수(Table 2): Franka Kitchen에서 R3M 53.1%, Ego4D로 학습한 MoCo 42.0%, MVP 27.0%. Adroit에서는 65.0%, 54.9%, 51.4%.
• 실제 Franka Emika Panda, 작업당 시연 20개와 시행 10회: R3M 평균 56%, CLIP 24%(서랍 닫기 80% 대 70%, 서랍장에 마스크 넣기 30% 대 10%, 팬에 상추 넣기 60% 대 0%, 머그잔 밀기 70% 대 40%, 수건 접기 40% 대 0%).

한계

• 평가는 모방 학습, 구체적으로 적은 수의 시연을 사용한 행동 복제로 제한된다. 강화 학습에 좋은 사전 학습 표현은 모방 학습에 좋은 표현과 다를 수 있다.
• R3M은 단일 프레임 상태 표현만 제공한다. 이를, 또는 그 언어 그라운딩 모듈을 보상 학습이나 작업 명세에 사용하는 것은 향후 과제로 남는다.
• MoCo (345) 기준선은 Parisi et al.과 다르게 설정되었으므로(고유 감각, 프레임 스태킹), 그 수치는 두 연구 사이에 직접 비교할 수 없다.
• 실제 로봇 비교는 R3M과 CLIP만 다루며, 작업당 시행은 10회이다.
• 시뮬레이션 성공률은 학습 1,000 스텝마다 수행한 평가에서 도달한 최고값이며, 시드, 시점, 시연 세트 크기에 걸쳐 평균한 것이다.

분야에 미친 영향

541회 인용되었다. 저자들은 ResNet18, ResNet34, ResNet50 백본의 사전 학습된 R3M 모델을 학습 코드와 함께 공개한다.

초록

우리는 다양한 사람 영상 데이터로 사전 학습한 시각 표현이 다운스트림 로봇 조작 작업의 데이터 효율적인 학습을 어떻게 가능하게 하는지 연구한다. 구체적으로, Ego4D 사람 영상 데이터셋을 사용하여 시간 대조 학습, 영상-언어 정렬, 그리고 희소하고 압축된 표현을 유도하는 L1 페널티의 조합으로 시각 표현을 사전 학습한다. 그 결과 얻은 표현 R3M은 다운스트림 정책 학습을 위한 고정된 인식 모듈로 사용할 수 있다. 12개의 시뮬레이션 로봇 조작 작업 모음 전반에서, R3M은 처음부터 학습하는 것에 비해 작업 성공률을 20% 넘게, CLIP과 MoCo 같은 최신 시각 표현에 비해 10% 넘게 향상시킨다. 또한 R3M은 Franka Emika Panda 팔이 실제의 어수선한 아파트에서 단 20개의 시연만으로 다양한 조작 작업을 학습할 수 있게 한다.

링크

• arXiv 2203.12601: https://arxiv.org/abs/2203.12601
• DOI https://doi.org/10.48550/arxiv.2203.12601: https://doi.org/https://doi.org/10.48550/arxiv.2203.12601
• PDF: https://proceedings.mlr.press/v205/nair23a/nair23a.pdf
• 코드: https://github.com/facebookresearch/r3m
• 프로젝트 페이지: https://sites.google.com/view/robot-r3m