Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

저자: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

라이선스

• 오픈 액세스
• 논문: CC0 1.0 Universal

아래 내용은 모두 저자들이 CC0 1.0 Universal로 공개한 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

FISH는 고정된 개루프 또는 최근접 이웃 기본 정책에 학습된 잔차를 더하고, 1–3개 시연과의 최적 수송 매칭으로 보상을 주며, ≤20분 안에 처음 보는 물체 위치에 적응한다.

중요한 이유

작업 입력은 1분 미만의 시연뿐이다. 상태 추정, 수작업 보상, 대규모 시연 세트가 필요 없으며, 온라인 학습은 최대 20분으로 제한된다. 잔차만 학습하므로 탐색을 선택한 행동 차원으로 제한할 수 있으며, 저자들은 이 덕분에 ROT가 Allegro Hand에서 모든 차원을 탐색할 때 나타났던 위험한 손가락 충돌과 자세를 피했음을 보인다.

문제

시각 모방 정책은 물체 위치 같은 변화를 포괄하기 위해 많은 시연을 필요로 한다. 논문은 작업당 400개 시연의 MIME와 200개의 robomimic을 인용한다. 오프라인 정책을 온라인 RL로 적응시키면 이를 줄일 수 있지만, RL에는 보상이 필요하고 물체 상태를 추정할 수 없을 때는 작업별 보상을 만들기 어렵다.

제안 방법

FISH는 두 단계로 작동한다. 먼저 약한 비모수적 기본 정책(개루프 재생 또는 VINN 최근접 이웃 검색)을 약 1분 분량의 시연(궤적 1–3개)에 맞춘다. 다음으로 n-step DDPG로 학습한 잔차 정책이 기본 행동에 보정 오프셋을 더하며, 보상은 행동 복제에서 가져온 고정된 인코더로 계산한, 로봇의 카메라 관측과 시연 사이의 Sinkhorn 최적 수송 매칭으로 주어진다.

핵심 통찰

• 기본 정책을 고정하고 잔차 오프셋만 학습하는 방식이 Table I의 모든 작업에서 BC 정책을 온라인으로 미세 조정하는 방식(ROT)보다 뛰어났다.
• 이 적은 데이터 영역에서는 비모수적 기본 정책(VINN, 개루프)이 모수적 BC보다 잘 동작했으며, BC는 Allegro Hand의 16차원 행동 공간에서 성능이 낮았다.
• 소수의 도메인 내 시연으로 행동 복제를 통해 학습한 인코더가 대규모 도메인 외 데이터로 사전 학습한 ImageNet, R3M, MVP 인코더보다 더 나은 결과를 냈다.
• 인코더를 고정하는 것(OT 보상이 정상적으로 유지되도록)과 잔차를 기본 행동에 조건화하는 것이 모두 필요하며, 둘 중 하나라도 빼면 성공률이 낮아졌다(Table V).
• 잔차 탐색을 선택한 행동 축으로 제한하면 샘플 효율이 개선된 반면, 오프셋을 0 쪽으로 적응적으로 정규화하면 성능이 떨어졌다.

주요 결과

• 로봇 3대의 실제 작업 9개에서 평균 성공률 93%로 기존 방법보다 약 3.8× 높다(초록). 서론은 같은 수치를 20분의 온라인 상호작용이 주어졌을 때 '성공률 93% 향상'으로 표현한다.
• Table I: 문 열기, 서랍 열기, 조명 스위치 조작(Stretch, 각 시행 5회)과 큐브 뒤집기, 병뚜껑 돌리기(Allegro Hand)에서 1.0, 지폐 집기 0.8, 컵에 막대 꽂기와 베이글 뒤집기 0.9, 열쇠 꽂기 0.8(각 시행 10회).
• Table I에서 어떤 단일 작업에서든 가장 좋은 기준선은 최대 0.6에 그친다(조명 스위치 조작과 열쇠 꽂기의 ROT). 문 열기, 서랍 열기, 큐브 뒤집기, 병뚜껑 돌리기에서는 어떤 기준선도 0.2를 넘지 못한다.
• 적응적 오프셋 정규화를 쓰지 않으면 베이글 뒤집기에서 0.9, 지폐 집기에서 0.8의 성공률을 보였으며, 이를 쓰면 0.4와 0.4였다(Table II).
• BC 인코더를 사전 학습된 인코더로 바꾸면 베이글 뒤집기가 0.9에서 0.0(ImageNet), 0.0(R3M), 0.3(MVP)으로, 지폐 집기가 0.8에서 0.0, 0.1, 0.0으로 떨어졌다(Table IV).
• 5분의 온라인 학습 후 새로운 물체에서의 성공률은 빵류에서 0.9에서 0.0까지, 지폐와 카드에서 0.8에서 0.0까지 분포했으며, 부드러운 납작빵과 두꺼운 지갑에서는 완전히 실패했다(Fig. 8).

한계

• OT 보상은 로봇을 시연에 맞추므로, 이 방법은 시연자가 전문가라는 점에 의존한다(저자들의 언급).
• 시각만 입력으로 쓰기 때문에 이미지의 아주 작은 부분을 차지하는 열쇠 구멍을 찾는 것처럼 시각 신호가 약한 정밀 작업은 어렵다. 저자들은 촉각 감지를 제안한다(저자들의 언급).
• 잔차 정책은 무작위로 초기화된다. 저자들은 이를 사전 학습하면 더 정밀한 제어가 필요한 어려운 작업에 도움이 될 수 있다고 지적한다(저자들의 언급).
• 물체가 시연한 물체와 다를수록 성공률이 떨어지며, 납작빵과 지갑에서는 완전히 실패한다.
• 각 작업은 물체 위치 10곳(xArm, Allegro Hand) 또는 로봇 초기 상태 5가지(Stretch)에서 평가된다.

분야에 미친 영향

RSS 2023 Best Student Paper Award 수상작이며 인용 수는 113회이다. 저자들은 fast-imitation.github.io를 통해 코드와 로봇 동영상을 공개하며, 프로젝트 페이지는 코드 저장소로 연결된다.

초록

모방 학습은 로봇을 학습시키는 효율적인 도구 모음을 제공하지만, 환경 변화에 강건한 기술을 학습하는 것은 여전히 중요한 과제다. 현재의 접근법은 환경 변화를 아우르는 대량의 시연에 의존하거나, 상태 추정이 필요한 수작업 보상 함수에 의존하여 이 과제에 대응한다. 두 방향 모두 빠른 모방으로 확장하기 어렵다. 이 연구에서 우리는 1분 미만의 사람 시연으로 강건한 시각 기술을 학습할 수 있는 새로운 모방 학습 접근법인 Fast Imitation of Skills from Humans(FISH)를 제시한다. 시연의 오프라인 모방으로 학습한 약한 기본 정책이 주어지면, FISH는 로봇의 행동과 시연 사이의 "일치"에 해당하는 보상을 계산한다. 이 보상은 기본 정책에 더해지는 잔차 정책을 적응적으로 업데이트하는 데 사용된다. 모든 작업에서 FISH는 시연에서 보지 못한 물체 배치에 대해 시연을 모방하는 데 최대 20분의 상호작용 학습만 필요로 한다. 중요한 점은 FISH가 다재다능하게 구성되어 있어 다양한 로봇 형태(예: xArm, Allegro, Stretch)와 카메라 구성(예: 3인칭, 손 장착 카메라)에 걸쳐 사용할 수 있다는 것이다. 9개의 서로 다른 작업에 대한 실험 평가에서 FISH는 평균 성공률 93%를 달성하며, 이는 기존 최고 수준 방법보다 약 3.8× 높다.

링크

• arXiv 2303.01497: https://arxiv.org/abs/2303.01497
• DOI 10.48550/arXiv.2303.01497: https://doi.org/10.48550/arXiv.2303.01497
• PDF: https://arxiv.org/pdf/2303.01497v1
• 코드: https://github.com/siddhanthaldar/FISH
• 프로젝트 페이지: https://fast-imitation.github.io/