LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

저자: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

LIBERO는 사람의 시연이 딸린 130개의 언어 조건부 조작 작업으로 이루어진 시뮬레이션 벤치마크로, 로봇이 작업 간에 서술적 지식과 절차적 지식을 어떻게 전이하는지 연구하기 위해 만들어졌다.

중요한 이유

세 개의 묶음이 공간, 물체, 목표 지식을 분리하므로, 성능 저하를 잃어버린 지식의 유형으로 추적할 수 있다. 실험은 또한 통상적인 관행에 이의를 제기한다: 시험한 평생 학습 알고리즘들은 단순한 순차적 미세 조정보다 순방향 전이가 낮았고, 단순한 지도 사전 학습은 이후의 평생 학습을 해칠 수 있었다.

문제

평생 학습 연구는 주로 비전 및 언어 작업에서 서술적 지식(개체와 개념)의 전이를 연구해 왔다. 로봇의 의사결정에는 어떻게 행동할지 아는 절차적 지식도 필요하며, 에이전트가 새 작업을 배운 뒤 실패할 때 어떤 종류의 지식을 전이하거나 망각하는지를 체계적으로 분석할 방법이 없었다.

제안 방법

LIBERO는 robosuite 위에서 작업을 절차적으로 생성한다: 언어 템플릿은 Ego4D 활동 주석에서 추출하고, PDDL 장면 파일이 물체, 배치, 초기 상태를 지정하며, 목표는 On(A, B)나 Open(X) 같은 술어들의 논리곱이다. 네 개의 묶음이 제공된다: LIBERO-Spatial, LIBERO-Object, LIBERO-Goal(각 10개 작업, 각각 한 가지 유형의 지식을 분리)과 LIBERO-100(단기 작업 90개와 장기 작업 10개)이며, 작업마다 원격 조작 시연 50개가 있다. 이 연구는 세 가지 정책 아키텍처(ResNet-RNN, ResNet-T, ViT-T)와 다섯 가지 학습 방식(순차적 미세 조정, ER, EWC, PackNet, 다중 작업 학습)을 행동 복제로 학습시켜 벤치마크한다.

핵심 통찰

• 정책 아키텍처는 평생 학습 알고리즘만큼 중요하다: 트랜스포머 시간 백본(ResNet-T, ViT-T)이 평균적으로 ResNet-RNN보다 훨씬 잘 작동했다.
• 어떤 단일 시각 인코더도 모든 곳에서 최고는 아니었다: ER과 함께 쓸 때 ResNet-T는 LIBERO-Object를 제외한 모든 묶음에서 ViT-T를 이겼으며, 저자들은 이를 ViT가 더 큰 물체 다양성을 처리하는 것과 연결한다.
• 세 가지 평생 학습 알고리즘 모두 순차적 미세 조정보다 순방향 전이가 낮았다; PackNet은 망각을 막지만 작업당 용량이 줄어들어 LIBERO-Long에서 불리했다.
• BERT, CLIP, GPT-2로 인코딩한 의미가 풍부한 작업 설명은 Task-ID 임베딩 대비 통계적으로 유의한 이득을 주지 않았다.
• 행동 복제 손실은 체크포인트 선택에 오해를 부르는 신호이다; EWC는 때때로 성공률이 좋지 않은데도 손실이 가장 낮았으므로, 성공률을 사용해야 한다.

주요 결과

• ResNet-T에서 순차적 미세 조정은 모든 묶음에서 순방향 전이가 가장 높았다: 0.54(Long), 0.72(Spatial), 0.78(Object), 0.77(Goal).
• PackNet은 망각이 가장 낮았고(음의 역방향 전이 0.06–0.17) Spatial, Object, Goal에서 AUC가 가장 좋았지만(0.63, 0.60, 0.75), LIBERO-Long에서는 ER의 AUC가 가장 좋았다(0.32 대 0.25).
• EWC는 평생 학습 알고리즘 중 성능이 가장 나빴으며, AUC는 LIBERO-Long에서 0.02, Spatial과 Goal에서 0.06이었다.
• PackNet을 쓴 LIBERO-Long에서 ViT-T는 AUC 0.34에 도달했고, ResNet-T는 0.25, ResNet-RNN은 0.03이었다.
• LIBERO-Long(ER을 쓴 ResNet-T)에서 언어 임베딩별 순방향 전이는 0.48(BERT), 0.52(CLIP), 0.46(GPT-2), 0.50(Task-ID)으로 유의한 차이가 없었다.
• 결과는 세 개의 시드에 대해 평균했으며, 각 작업은 시연 50개로 50 에포크 학습하고 20회 롤아웃으로 평가했다.

한계

• 저자들이 밝힌 바: 실험은 초기 연구이며, 공간 및 시간 정보를 위한 더 나은 아키텍처, 순방향 전이가 더 나은 알고리즘, 평생 학습에 도움이 되는 사전 학습은 열린 문제로 남는다.
• 저자들이 밝힌 바: 평생 학습자는 주로 사람으로부터 배우므로, 장기적으로는 사용자 개인정보 보호가 매우 중요해질 수 있다.
• 결과는 작업 순서에 좌우된다: ER과 PackNet의 성능은 다섯 가지 순서에 걸쳐 달라졌고, PackNet의 경우 그 차이가 통계적으로 유의했다.
• 모든 작업은 robosuite 시뮬레이션에서 실행된다; 논문은 실제 로봇 실험을 보고하지 않는다.
• 시연으로부터의 행동 복제만 벤치마크한다; 강화 학습은 희소 보상의 어려움 때문에 제외되었다.

분야에 미친 영향

인용 수 607회(제시된 수치 그대로). 논문은 절차적 작업 생성 파이프라인, 총 130개 작업으로 이루어진 네 개의 작업 묶음, 모든 작업에 대한 사람의 원격 조작 시연을 공개하며, 코드와 데이터셋은 프로젝트 웹사이트에서 링크된다.

초록

평생 학습은 일생 동안 배우고 적응하는 범용 에이전트를 구축하는 유망한 패러다임을 제공한다. 주로 개체와 개념에 대한 서술적 지식의 전이를 다루는 이미지 및 텍스트 도메인의 전통적인 평생 학습 문제와 달리, 의사결정에서의 평생 학습(LLDM)은 행동과 거동 같은 절차적 지식의 전이도 필요로 한다. LLDM 연구를 발전시키기 위해, 우리는 로봇 조작을 위한 새로운 평생 학습 벤치마크인 LIBERO를 소개한다. 구체적으로 LIBERO는 LLDM의 다섯 가지 핵심 연구 주제를 조명한다: 1) 서술적 지식, 절차적 지식, 또는 둘의 혼합을 어떻게 효율적으로 전이할 것인가; 2) LLDM을 위한 효과적인 정책 아키텍처와 3) 효과적인 알고리즘을 어떻게 설계할 것인가; 4) 작업 순서에 대한 평생 학습자의 강건성; 5) LLDM에 대한 모델 사전 학습의 효과. 우리는 원리적으로 무한히 많은 작업을 생성할 수 있는 확장 가능한 절차적 생성 파이프라인을 개발한다. 벤치마크를 위해 위에서 언급한 연구 주제를 조사하는 데 사용하는 네 개의 작업 묶음(총 130개 작업)을 만든다. 샘플 효율적인 학습을 지원하기 위해 모든 작업에 대해 사람이 원격 조작한 고품질 시연 데이터를 제공한다. 광범위한 실험은 통찰력 있거나 심지어 예상치 못한 몇 가지 발견을 보여준다: 순차적 미세 조정이 순방향 전이에서 기존 평생 학습 방법을 능가하고, 어떤 단일 시각 인코더 아키텍처도 모든 유형의 지식 전이에서 뛰어나지 않으며, 단순한 지도 사전 학습은 이후의 LLDM에서 에이전트의 성능을 저해할 수 있다. 코드와 데이터셋은 웹사이트 https://libero-project.github.io 에서 확인할 수 있다.

링크

• arXiv 2306.03310: https://arxiv.org/abs/2306.03310
• DOI https://doi.org/10.52202/075280-1939: https://doi.org/https://doi.org/10.52202/075280-1939
• PDF: https://arxiv.org/pdf/2306.03310v1
• 코드: https://github.com/Lifelong-Robot-Learning/LIBERO
• 프로젝트 페이지: https://libero-project.github.io/