Language-Driven Representation Learning for Robotics

저자: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

Voltron은 Something-Something-v2에서 언어 조건부 마스크 재구성과 캡션 생성을 혼합하며, 새로운 다섯 문제 로봇공학 평가 모음에서 데이터를 맞춘 MVP와 R3M보다 뛰어나다.

중요한 이유

로봇 학습에는 제어뿐 아니라 인식, 언어 근거 부여, 제어를 위한 시각 특징이 필요하다. 사전 학습 데이터와 모델 용량을 같게 두었을 때, 논문은 사전 학습 중의 언어가 언어 입력이 없는 작업에서도 결과를 개선함을 보이며, 이러한 문제들에 걸쳐 표현을 비교할 하나의 평가 모음을 제공한다.

문제

MVP(마스크 오토인코딩)와 R3M(대조 학습)처럼 사람 동영상으로 사전 학습한 시각 표현은 주로 시각운동 제어에서 평가되었다. 더 넓게 테스트하면 이들은 일관되지 않다. MVP는 파지 어포던스 예측에서는 잘하지만 언어 조건부 모방에서는 고전하고, R3M은 그 반대이며 파지 어포던스 예측에서는 완전히 성능이 무너진다.

제안 방법

Voltron은 동영상 프레임과 캡션을 트랜스포머 인코더가 시각과 언어를 함께 임베딩하는 마스크 오토인코딩 파이프라인에 입력한다. 확률 α로 캡션에 조건화하는 대신 시각적 맥락으로부터 캡션을 생성하여, 저수준 재구성 특징과 고수준 의미 사이에서 균형을 잡는다. 세 가지 변형을 연구한다. V–Cond(프레임 1개, α = 0), V–Dual(프레임 2개, α = 0), V–Gen(프레임 2개, α = 0.5). 저자들은 또한 다섯 문제로 이루어진 평가 모음을 구축한다. 파지 어포던스 예측, 지시 표현 근거 부여, 시뮬레이션에서의 단일 작업 시각운동 제어, 실제 Franka 팔에서의 언어 조건부 모방, 제로샷 의도 점수 매기기다.

핵심 통찰

마스크 재구성을 언어에 조건화하면 테스트 시 언어가 없어도 도움이 된다. 파지 어포던스 예측에서 V–Cond는 R-MVP와 더 큰 MVP(EgoSoup)보다 뛰어나다.
모든 곳에서 최고인 Voltron 변형은 없다. 언어 생성(V–Gen)은 의도 점수 매기기에 필요하지만 일부 제어 작업에는 해가 되며, 단일 프레임 V–Cond는 비에피소드 작업에서는 잘하지만 제어에서는 두 프레임 모델에 뒤처진다.
생성적 언어 모델링이 마스크 언어 모델링보다 더 잘 버텼다. 재현한 M3AE는 처음 20 에폭 안에 언어 손실을 퍼플렉서티 1까지 과적합했으며, 테스트한 모든 평가에서 점수가 더 낮았다.
사전 학습 중에 별도의 텍스트 및 이미지 인코딩을 나중에 결합하는 대신 인코더 안에서 시각과 언어를 융합한 것이, 지시 표현 근거 부여에서의 큰 향상에 대한 저자들의 설명이다.
특징 추출을 위한 다중 헤드 어텐션 풀링(MAP)은 모든 ViT 모델을 개선했으며, 원래 MVP 연구의 추출 절차에 비해 시각운동 제어 성공률을 거의 두 배로 높였다.

주요 결과

파지 어포던스 예측(ARC Grasping, ViT-S): V–Cond는 Top-1 / Top-1% / Top-5% 정밀도에서 85.15 / 80.71 / 47.45를 기록하며, R-MVP는 72.94 / 61.47 / 39.77, R-R3M은 40.38 / 40.55 / 28.66이다(Table 2).
지시 표현 근거 부여(OCID-Ref, 0.25 IoU에서의 전체 정확도): V–Cond 89.38, R-R3M 63.30, R-MVP + DistilBERT 49.58, CLIP ViT-B 68.35(Table 3).
V–Cond를 ViT-S(파라미터 22M)에서 ViT-B(86M)로 확장하면 파지 Top-5% 정밀도가 47.45에서 62.33으로, 지시 표현 전체 정확도가 89.38에서 90.77로 높아진다.
제거 실험(Table 4): 언어가 없으면 파지 Top-1%가 80.71에서 65.83으로, 지시 표현 정확도가 89.38에서 53.44로, Franka Kitchen 성공률(n = 25)이 38.2 ± 5.09에서 33.1 ± 4.79로 떨어진다. R-M3AE는 52.79, 51.61, 24.0 ± 4.21을 기록한다.
WHiRL 동영상에서의 제로샷 의도 점수 매기기: V–Gen은 사람과 로봇 동영상 모두에서 'opening the faucet'의 진행을 추적하는 반면, CLIP과 R3M은 잡음이 많은 점수를 낸다(정성적, Figure 7).
실제 로봇 언어 조건부 모방(작업 5개, 각 시연 20개): Voltron 모델이 가장 높은 성공률을 보이며 R-MVP와 함께 시각적 방해물에 강건하다. 이 수치는 Figure 6에서만 보고된다.

한계

저자들은 원래 MVP와 R3M 규모로 학습할 연산 자원이 없었다. 직접 비교는 Something-Something-v2에서 자체 재현한 모델을 사용하며, 공식 MVP, R3M, CLIP 모델은 직접 비교할 수 없다고 표시된다(저자들의 언급).
모든 작업에서 가장 강한 단일 표현은 없으며, 저수준 특징과 고수준 특징 사이의 상충 관계가 남아 있다(저자들의 언급).
Franka Kitchen 제어에서의 절대 성공률은 여전히 낮으며, 제한된 데이터로 폐루프 정책을 학습하는 것은 미해결 과제다(저자들의 언급).
프레임 4개는 가용 메모리를 초과했기 때문에 사전 학습은 최대 두 프레임 맥락만 사용했으며, α = 1(생성만)은 평가되지 않았다.
의도 점수는 완벽하지 않다. 수도꼭지를 튼 뒤 사람 동영상에서는 점수가 높게 유지되지만 로봇 동영상에서는 점차 낮아지며, 저자들은 그 이유를 설명하지 못했다.

분야에 미친 영향

RSS 2023 Best Paper Award 최종 후보였으며 인용 수는 242회이다. 저자들은 사전 학습된 V–Cond, V–Dual, V–Gen 모델(ViT-Base V–Cond와 중간 체크포인트 포함), 사전 학습 및 적응 코드, 정확한 학습 배치가 포함된 전처리된 Something-Something-v2 데이터, 독립형 평가 모음을 공개한다.

초록

로봇공학을 위한 시각 표현 학습에 관한 최근 연구는 사람이 일상 작업을 수행하는 대규모 동영상 데이터셋으로부터 학습하는 것이 실행 가능함을 보여준다. 마스크 오토인코딩과 대조 학습 같은 방법을 활용한 이러한 표현은 시각운동 제어를 위한 정책 학습으로 강하게 전이된다. 그러나 로봇 학습은 제어를 넘어 파지 어포던스 예측, 언어 조건부 모방 학습, 인간-로봇 협업을 위한 의도 점수 매기기 등 다양한 문제를 포괄한다. 먼저 우리는 기존 표현이 이 작업들에서 일관되지 않은 결과를 낸다는 것을 보인다. 마스크 오토인코딩 접근법은 고수준 의미를 희생하고 저수준 공간 특징을 포착하는 반면, 대조 학습 접근법은 그 반대를 포착한다. 이어서 사람 동영상과 관련 캡션으로부터 언어 주도 표현 학습을 하는 프레임워크 Voltron을 소개한다. Voltron은 저수준 시각 패턴을 학습하기 위한 언어 조건부 시각 재구성과 고수준 의미를 인코딩하기 위한 시각에 근거한 언어 생성 사이에서 균형을 잡는다. 또한 다섯 가지 서로 다른 로봇 학습 문제에 걸친 새로운 평가 모음, 즉 로봇공학을 위한 시각 표현을 전체적으로 평가하는 통합 플랫폼을 구축한다. 다섯 문제 모두에 걸친 포괄적이고 통제된 실험을 통해, Voltron의 언어 주도 표현이 기존의 최고 수준 방법보다 뛰어나며, 특히 더 높은 수준의 특징이 필요한 표적 문제에서 그렇다는 것을 발견한다.

링크

arXiv 2302.12766: https://arxiv.org/abs/2302.12766
DOI 10.48550/arXiv.2302.12766: https://doi.org/10.48550/arXiv.2302.12766
PDF: https://arxiv.org/pdf/2302.12766v1
코드: https://github.com/siddk/voltron-robotics
프로젝트 페이지: https://sites.google.com/view/voltron-robotics