MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

저자: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

MimicPlay는 10분 분량의 사람 손 놀이 동영상으로 잠재 플래너를, 소수의 원격 조작 시연으로 계획 안내 트랜스포머 제어기를 학습하여, Franka 팔의 장기 작업 성공률을 높인다.

중요한 이유

사람 놀이 데이터에는 로봇, 작업 레이블, 환경 초기화가 필요 없다. 로봇 원격 조작으로 90초 걸리는 일을 사람은 약 5초 만에 끝내며, 10분의 놀이는 대략 3시간 분량의 원격 조작 데이터셋에 해당한다. 사람의 동작과 로봇 기술이 하나의 잠재 계획 공간을 공유하므로, 사람의 동영상을 로봇의 목표 프롬프트로 직접 사용할 수도 있다.

문제

장기 시연은 수집에 시간과 노동이 많이 들기 때문에 모방 학습은 대부분 단기 프리미티브에 한정되어 왔다. 로봇 놀이 데이터로 학습하는 것이 도움이 되지만, 여전히 몇 시간의 원격 조작이 필요하다. 예를 들어 C-BeT는 4.5시간, TACO-RL은 6시간이 필요하다.

제안 방법

MimicPlay는 데이터 원천별로 학습을 나눈다. 목표 조건부 잠재 플래너는 장면당 10분 분량의 사람 놀이 동영상으로 학습되어, 보정된 카메라 두 대로 추적한 미래의 3D 손 궤적을 가우시안 혼합 모델 헤드로 예측하며, KL 손실이 사람과 로봇의 시각 특징을 정렬한다. 이어서 작업당 20–40개의 원격 조작 시연으로 학습한 GPT 방식의 트랜스포머 정책이 고정된 플래너의 잠재 계획과 손목 카메라 및 고유수용 감각 입력을 엔드 이펙터와 그리퍼 명령으로 매핑한다.

핵심 통찰

• 고수준 계획은 저렴한 사람 놀이 데이터로 학습할 수 있으며, 저수준 제어는 체화 차이가 없는 원격 조작 시연에서 얻는다.
• 다봉 분포를 갖는 사람 손 궤적을 포착하려면 GMM 헤드가 필요하다. 이것이 없으면 플래너는 사람 데이터 없이 학습한 변형보다 일반화가 나빴다.
• 인코더 특징 분포에 대한 KL 손실은 쌍 데이터 없이 사람과 로봇 사이의 시각적 차이를 줄여, t-SNE에서 사람과 로봇 특징 분포의 겹침을 23% 더 크게 만든다.
• 사람 놀이 데이터의 절반이 아니라 10분 전체를 사용하면 처음 보는 하위 목표 조합에 대한 일반화가 개선된다.
• 사전 학습된 잠재 계획은 LMP와 R3M-BC 같은 엔드투엔드 방법에 비해 단일 작업 학습에서 다중 작업 학습으로 갈 때의 성능 손실을 줄인다.

주요 결과

• Kitchen, 장기, 세 작업 전체(Table 1): 시연 20개로 0.47, 시연 40개로 0.70의 성공률을 보였으며, 기준선은 최대 0.07과 0.17, 사람 데이터 없는 변형은 0.23 / 0.40이었다.
• Study Desk(Table 2, 시연 20개): 학습한 작업에서 0.55, 처음 보는 작업 조합에서 0.47을 기록했으며, GC-BC(BC-trans)와 LMP는 0.00, 사람 데이터 없는 변형은 0.20 / 0.10이었다.
• Flower, Whiteboard, Sandwich, Cloth에 걸친 다중 작업(Table 3): 공유 모델 하나로 0.55, 작업별 모델로 0.58을 기록했으며, LMP는 0.13에서 0.05로, R3M은 0.25에서 0.15로 떨어진다.
• KL 손실이 없으면 학습한 작업의 성공률이 0.38로 떨어지고(0.55보다 17% 낮음), GMM이 없으면 학습한 작업에서 0.28, 처음 보는 작업에서 0.07이다.
• 로봇 놀이 데이터만 사용할 수 있는 LIBERO 시뮬레이션에서, 사람 데이터 없는 계층적 변형은 장기 작업에서 0.29–0.67에 도달하는 반면 GC-BC 기준선은 0.00을 기록한다(시드 5개, 시행 100회).
• 전체 시스템은 17 Hz로 실행되며, 접힌 수건을 펼치는 것 같은 사람의 방해 후 다시 계획하기에 충분히 빠르다. Section 4는 제어 주파수를 20 Hz로, 부록은 17–20 Hz로 제시한다.

한계

• 잠재 계획은 장면별 사람 놀이 데이터로 학습되며, 인터넷 규모의 데이터로 학습하면 확장성이 개선될 수 있다(저자들의 언급).
• 작업은 탁상 환경에 한정되며 모바일 매니퓰레이션은 다루지 않는다(저자들의 언급).
• 교차 체화 표현 학습은 예컨대 시간적 대조 학습이나 순환 일관성 학습으로 개선할 여지가 있다(저자들의 언급).
• 다중 작업 학습에서 화이트보드 작업의 성공률은 0.5에서 0.2로 떨어졌으며, 저자들은 화이트보드 시연이 더 짧아 데이터셋의 균형이 깨졌기 때문이라고 본다.
• 3D 손 추적에는 보정된 카메라 두 대 구성이 필요하며, 사람 놀이 구성 요소는 시뮬레이션에서 테스트할 수 없었다.

분야에 미친 영향

CoRL 2023 Best Systems Paper Award 최종 후보였고 CoRL 2023 Best Paper / Best Student Paper 통합 최종 후보 명단에 올랐으며, 인용 수는 415회이다. 구현 코드는 github.com/j96w/MimicPlay에 공개되어 있으며, 동영상은 프로젝트 페이지에 있다.

초록

사람의 시연으로부터의 모방 학습은 실제 환경에서 로봇에게 조작 기술을 가르치는 유망한 패러다임이다. 그러나 복잡한 장기 작업을 학습하려면 얻기 어려운 양의 시연이 필요한 경우가 많다. 높은 데이터 요구량을 줄이기 위해 우리는 사람 놀이 데이터, 즉 사람들이 손으로 환경과 자유롭게 상호작용하는 동영상 시퀀스를 활용한다. 형태가 다르더라도 사람 놀이 데이터에는 로봇 정책 학습을 쉽게 도울 수 있는 물리적 상호작용에 관한 풍부하고 두드러진 정보가 담겨 있다고 우리는 가정한다. 이에 착안하여, 사람 놀이 데이터로부터 잠재 계획을 학습하여 소수의 원격 조작 시연으로 학습한 저수준 시각운동 제어를 안내하는 계층적 학습 프레임워크 MimicPlay를 소개한다. 실제 환경의 장기 조작 작업 14개에 대한 체계적인 평가를 통해, MimicPlay가 작업 성공률, 일반화 능력, 외란에 대한 강건성에서 최신 모방 학습 방법보다 뛰어남을 보인다. 코드와 동영상은 mimic-play.github.io에서 볼 수 있다.

링크

• arXiv 2302.12422: https://arxiv.org/abs/2302.12422
• DOI 10.48550/arXiv.2302.12422: https://doi.org/10.48550/arXiv.2302.12422
• PDF: https://proceedings.mlr.press/v229/wang23a/wang23a.pdf
• 코드: https://github.com/j96w/MimicPlay
• 프로젝트 페이지: https://mimic-play.github.io/