XIRL: Cross-embodiment Inverse Reinforcement Learning

저자: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

신체가 서로 다른 시연자들의 영상으로 학습한 시간적 순환 일관성 임베딩이 목표까지의 거리 보상을 제공하며, 이 보상으로 처음 보는 신체의 RL 정책을 학습한다.

중요한 이유

이 보상에는 영상만 필요하다. 행동 레이블도, 짝지은 프레임도, 카메라 외의 환경 계측 장비도 필요 없다. 논문의 실험에서 같은 학습된 보상이 시연 집합에 없던 신체의 에이전트를 학습시켰으며, 이는 사람의 영상으로 로봇을 가르칠 때의 상황에 해당한다.

문제

로봇은 사람의 시연처럼 3인칭 영상으로부터 작업을 학습할 수 있지만, 시연자의 신체가 로봇과 다르기 때문에 각자 다른 전략과 궤적으로 작업을 해결한다. 이전의 보상 학습 방법은 참조 궤적, 시간 인덱스 정렬, 또는 시연자와 학습자 사이의 사람이 레이블링한 프레임 대응이 필요했다.

제안 방법

XIRL은 여러 신체에서 모은 관측 전용 영상으로 신체 레이블 없이 시간적 순환 일관성(temporal cycle-consistency, TCC)을 이용해 ResNet-18 이미지 인코더를 학습한다. 보상은 현재 프레임의 임베딩과 시연 마지막 프레임들의 평균 임베딩 사이의 제곱 거리를 온도로 스케일링하고 부호를 바꾼 값의 시그모이드이며, 새로운 신체에 대해 이 보상으로 Soft Actor-Critic 정책을 학습한다.

핵심 통찰

TCC 임베딩은 작업 진행을 인코딩하므로, 하나의 목표 임베딩까지의 거리만으로 참조 궤적이나 시간 인덱스 정렬 없이 조밀한 보상을 얻는다.
전체를 1000개의 시연으로 고정한 채 더 많은 신체의 시연을 모으자, 학습에서 제외된 신체에서의 RL이 빨라졌다.
신체가 다르면 같은 작업도 매우 다르게 해결한다. X-MAGICAL에서 평균 시연 길이는 48.0 스텝(long-stick)부터 110.8 스텝(gripper)까지 다양하다.
학습된 보상은 부분적인 진행에 부분 점수를 준다. 예를 들어 서랍과 충돌하기 전에 서랍 쪽으로 이동하는 것에 점수를 주는데, 희소한 환경 보상은 이때 0에 머문다.

주요 결과

동일 신체 X-MAGICAL 쓸기 작업: XIRL은 다른 학습된 보상들과 최소한 같은 수준의 샘플 효율을 보였고, 4개 신체 중 3개에서 환경 보상보다 샘플 효율이 높았다.
교차 신체, 4개 에이전트 각각을 제외하고 나머지 3개로 인코더를 학습: XIRL은 TCN, LIFS, 목표 분류기 보상보다 새로운 에이전트에 유의미하게 더 잘 일반화했다(시드 5개, 각각 평가 에피소드 50회).
RLV 데이터셋의 실제 사람 영상으로 시뮬레이션 Sawyer 팔에 블록 밀기를 학습: XIRL과 희소 보상의 조합은 보상 학습에 짝지은 프레임 레이블이나 로봇 도메인 데이터 없이도 RLV 및 희소 보상 단독보다 샘플 효율이 높았다.
X-REAL: 9가지 엔드 이펙터(사람 손, 스키 장갑, 주방 집게, 바닷가재 손 의상, 핀셋, 클램프, 집게형 리처)가 펜 다섯 자루를 컵 두 개로 옮기는 실제 영상 93개. One Hand 5 Fingers의 경우 미완료 시도는 성공한 시도의 약 절반의 보상을 받았다.
X-MAGICAL 벤치마크: 시뮬레이션 신체 4개, 각각 전문가 시연 1000개.

한계

실제 로봇에서 학습한 정책은 없다. 저자들은 실제 로봇에서의 정책 학습을 아직 보이지 못했다고 밝힌다.
X-MAGICAL은 PyMunk 위에 구축된 2D 쓸기 작업이며, 저자들은 이를 실제 시나리오를 크게 단순화한 버전이라고 설명한다.
시연에는 성공한 궤적만 포함되므로, 일반화가 잘 안 되는 인코더는 의도와 다른 작업을 정의할 수 있다. 논문은 학습된 보상을 희소한 작업 보상과 결합할 것을 제안한다.
실제 데이터셋 X-REAL에 대해서는 학습된 보상 곡선만 보여 주며, 정책 학습은 보여 주지 않는다.
대부분의 결과가 표로 정리된 성공률이 아니라 학습 곡선으로 제시되어, 보고된 정확한 수치가 적다.

분야에 미친 영향

CoRL 2021 Best Paper Award 최종 후보이며, 제시된 기준으로 인용 수는 182회이다. 논문은 X-MAGICAL 벤치마크와 X-REAL 데이터셋을 소개한다. 라이선스가 있는 v1 사본에는 코드와 데이터셋을 공개할 예정이라고 적혀 있지만 링크는 없다.

초록

우리는 시각적 교차 신체(cross-embodiment) 모방 설정을 탐구한다. 이 설정에서 에이전트는 같은 작업을 시연하는 다른 에이전트(예: 사람)의 영상으로부터 정책을 학습하지만, 시연자와의 신체 구성에는 형태, 행동, 엔드 이펙터 동역학 등에서 뚜렷한 차이가 있다. 본 연구에서는 이러한 차이에 강인한 시각 기반 보상 함수를 교차 신체 시연 영상으로부터 자동으로 발견하고 학습하는 것이 가능함을 보인다. 구체적으로, 우리는 교차 신체 역강화 학습(Cross-embodiment Inverse Reinforcement Learning, XIRL)을 위한 자기 지도 방법을 제시한다. 이 방법은 시간적 순환 일관성 제약을 활용하여, 신체 차이로 인해 같은 작업을 서로 다르게 수행하는 여러 전문가 에이전트의 오프라인 시연 영상으로부터 작업 진행을 포착하는 심층 시각 임베딩을 학습한다. 우리 연구 이전에는 자기 지도 임베딩으로부터 보상을 만들려면 일반적으로 참조 궤적과의 정렬이 필요했는데, 이러한 궤적은 얻기 어려울 수 있다. 우리는 임베딩이 작업 진행을 인식한다면, 학습된 임베딩 공간에서 현재 상태와 목표 상태 사이의 음의 거리를 취하는 것만으로도 강화 학습으로 정책을 학습하는 보상으로 유용함을 실험적으로 보인다. 우리가 학습한 보상 함수는 학습 중에 본 신체에서 작동할 뿐 아니라 완전히 새로운 신체에도 일반화됨을 확인했다. 또한 XIRL 정책이 기준선보다 샘플 효율이 높으며, 일부 경우에는 실제 정답 희소 보상으로 학습한 동일 에이전트의 샘플 효율을 넘어선다는 것을 확인했다.

링크

arXiv 2106.03911: https://arxiv.org/abs/2106.03911
DOI 10.48550/arXiv.2106.03911: https://doi.org/10.48550/arXiv.2106.03911
PDF: https://arxiv.org/pdf/2106.03911v1