What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

저자: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

5개의 시뮬레이션 및 3개의 실제 조작 작업에서 6가지 오프라인 학습 알고리즘을 시험: 이력 의존적인 BC-RNN이 사람 시연으로부터 가장 잘 학습하고, 배치 RL은 사람 데이터에서 고전한다.

중요한 이유

원격 조작 데이터를 수집하는 사람에게 이 연구는 구체적인 설정을 제시한다. 이력 의존적 정책을 사용하고, 손목 카메라와 픽셀 이동 이미지 무작위화를 포함하며, 고유 감각 입력은 간소하게 유지하고, 검증 손실에 의한 체크포인트 선택은 더 약한 정책을 고를 것이라고 예상해야 한다. 시뮬레이션에서 조정한 하이퍼파라미터를 실제 환경 조정 없이 실제 Franka 팔에 적용했으며, 그럼에도 작동하는 Lift 및 Can 정책을 얻었다.

문제

사람 시연으로부터의 모방 학습과 배치(오프라인) 강화 학습에는 로봇 조작을 위한 오픈 소스 사람 데이터셋과 재현 가능한 구현이 부족했기 때문에, 어떤 방법과 설계 선택이 효과가 있는지 판단하기 어려웠다. 사람 시연은 기계가 생성한 데이터와 다르다. 마르코프적이지 않을 수 있고, 품질이 조작자마다 다르며, 학습 손실은 평가에 쓰이는 작업 성공률의 대용물에 불과하다.

제안 방법

저자들은 RoboTurk를 통해 5개의 시뮬레이션 작업(Lift, Can, Square, Transport, Tool Hang)에 대한 원격 조작 시연을 단일 조작자 Proficient-Human 데이터셋(시연 200개)과 6명 조작자 Multi-Human 데이터셋(시연 300개)으로 수집했고, 여기에 Lift와 Can에 대한 기계 생성 데이터셋과 Franka 팔로 수집한 Lift, Can, Tool Hang의 시연 200개짜리 실제 데이터셋을 더했다. 저차원 관측과 이미지 관측에서 BC, BC-RNN, HBC, BCQ, CQL, IRIS를 학습시키고, 모든 체크포인트를 시뮬레이션에서 온라인으로 평가했으며, 관측 공간, 하이퍼파라미터, 데이터셋 크기, 정책 선택 규칙을 바꿔 가며 실험했다.

핵심 통찰

이력 의존적 모델(BC-RNN, HBC, IRIS)은 단순 BC보다 사람 시연으로부터 훨씬 잘 학습한다. BC-RNN과 BC의 격차는 작업 호라이즌에 따라 커지며(Transport (PH)에서 약 55%, Square (PH)에서 약 5%), 여러 조작자의 데이터에서도 커진다.
BCQ와 CQL은 기계가 생성한 혼합 품질 데이터에서는 잘 작동하지만 사람 데이터셋에서는 성능이 낮으며, 한 조작자가 만든 성공 시연과 실패 시연을 짝지은 진단용 데이터셋에서도 마찬가지이다.
관측 설계가 중요하다. 엔드 이펙터 속도나 관절 상태를 추가하면 저차원 에이전트 성능이 (상대적으로) 49%–88% 떨어졌고, 픽셀 이동 무작위화나 손목 카메라를 제거하면 이미지 에이전트의 성능이 나빠졌다.
가장 낮은 검증 손실이나 마지막 에포크로 체크포인트를 고르면 최고 체크포인트보다 10%에서 100% 나쁜 정책이 나왔으므로, 오프라인 정책 선택은 여전히 미해결 문제이다.
단순한 작업(Lift, Can)은 데이터의 20%만으로 75%–100% 성공에 도달했지만, 복잡한 작업(Square, Transport)은 데이터가 늘어날수록 계속 개선되었다.

주요 결과

저차원 Proficient-Human 데이터에서의 BC-RNN(시드 3개): Lift 100%, Can 100%, Square 84.0%, Transport 71.3%, Tool Hang 19.3%.
이미지 관측에서의 BC-RNN: Square (PH) 82.0%, Transport (PH) 72.0%, Tool Hang (PH) 67.3%이며, BCQ는 41.3%, 0.7%, 3.3%이다.
저차원 Multi-Human 데이터에서 BCQ는 Can 62.7%, Square 14.0%에 도달했으며, BC-RNN은 100%와 78.0%였다.
조작자 품질을 섞은 시연 200개짜리 Square 데이터셋에서 BC-RNN은 55.3%, 73.3%, 74.0%를 기록했으며, 이는 시연 200개짜리 단일 조작자 Square (PH) 데이터셋에서의 84.0%보다 낮다.
실제 Franka 팔, BC-RNN, 마지막 체크포인트, 롤아웃 30회, 실제 환경 조정 없음: Lift 96.7%, Can 73.3%, Tool Hang 3.3%.
실제 Can 작업에서 픽셀 이동 무작위화를 제거하면 성공률이 26.7%로, 손목 카메라를 제거하면 43.3%로 떨어졌다.

한계

시뮬레이션 결과는 모든 체크포인트를 온라인으로 평가해 찾은 최고 체크포인트를 보고하는데, 저자들은 이것이 실제 로봇에서는 불가능하다고 언급한다. 실제 환경 결과는 대신 마지막 체크포인트를 사용한다.
실제 환경 실험은 세 가지 작업을 각각 롤아웃 30회로 다루며, 실제 환경 하이퍼파라미터 조정은 없다. 저자들은 이 결과를 하한이라고 부르며, 실제 Tool Hang 정책은 롤아웃의 3.3%에서 성공했다.
기계 생성 데이터셋은 Lift와 Can에만 있는데, RL 에이전트가 상당한 조정을 거쳐도 다른 작업을 풀지 못했기 때문이다.
이 연구는 해결책을 제안하기보다 기존 알고리즘 6개를 비교한다. 사람 데이터에서 배치 RL의 격차를 좁히는 것과 더 나은 오프라인 정책 선택은 향후 과제로 남는다.
PMLR 사본은 그 안에 포함되지 않은 부록(작업 세부 사항, 데이터셋 크기 Tables 27 및 28, BCQ와 CQL 하이퍼파라미터)을 참조한다.

분야에 미친 영향

인용 548회(제시된 수치). 저자들은 데이터셋과 모든 알고리즘 구현을 프로젝트 페이지에 오픈 소스로 공개하여, 오프라인 학습 방법을 비교하기 위한 사람 시연 조작 작업과 기준선의 공유 세트를 제공했다.

초록

사람의 시연을 모방하는 것은 로봇에 다양한 조작 능력을 부여하는 유망한 접근법이다. 모방 학습과 배치(오프라인) 강화 학습에서 최근 진전이 있었지만, 오픈 소스 사람 데이터셋과 재현 가능한 학습 방법이 부족하여 이 분야의 현황을 평가하기 어렵다. 본 논문에서는 복잡도가 다양한 5개의 시뮬레이션 및 3개의 실제 다단계 조작 작업에서, 품질이 다양한 데이터셋으로 로봇 조작을 위한 6가지 오프라인 학습 알고리즘을 광범위하게 연구한다. 우리 연구는 조작을 위해 오프라인 사람 데이터로부터 학습할 때의 가장 중요한 과제들을 분석한다. 이 연구를 바탕으로 우리는 다양한 알고리즘 설계 선택에 대한 민감도, 시연 품질에 대한 의존성, 학습과 평가의 목표가 다르기 때문에 생기는 중단 기준에 따른 변동성 등 일련의 교훈을 도출한다. 또한 현재의 강화 학습 방법의 범위를 넘어서는 까다로운 다단계 작업에서 숙련된 정책을 학습하는 능력, 그리고 원시 감각 신호만 사용할 수 있는 자연스러운 실제 조작 시나리오로 쉽게 확장하는 능력 등, 사람 데이터셋으로부터 학습하는 데 따르는 기회도 강조한다. 사람 시연 데이터로부터의 학습에 관한 향후 연구와 공정한 비교를 돕기 위해 데이터셋과 모든 알고리즘 구현을 https://arise-initiative.github.io/robomimic-web/ 에 오픈 소스로 공개했다.

링크

arXiv 2108.03298: https://arxiv.org/abs/2108.03298
DOI https://doi.org/10.48550/arxiv.2108.03298: https://doi.org/https://doi.org/10.48550/arxiv.2108.03298
PDF: https://proceedings.mlr.press/v164/mandlekar22a/mandlekar22a.pdf
프로젝트 페이지: https://arise-initiative.github.io/robomimic-web/