Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning

저자: Kun Huang, Edward S. Hu, Dinesh Jayaraman · CoRL 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

LIRF는 결과물에 작용하여(문을 당기고, 탑을 찌르고, 밸브를 비틀어) 성공과 실패를 구분하는 두 번째 정책을 학습시키고, 그 판정을 작업 정책의 보상으로 사용한다.

중요한 이유

작업 명세에는 여전히 성공 예시만 필요하고 시연, 설계된 보상, 추가 센서가 필요 없지만, 성공이 눈에 보이지 않을 때도 동작한다. 학습된 확인 동작은 배치 시에도 재사용하여 불완전한 실행을 잡아내고 작업 정책이 다시 시도하도록 할 수 있다.

문제

예시 기반 보상 방법은 성공한 결과의 이미지로 작업을 명세하지만, 많은 결과는 수동적인 이미지로는 판단할 수 없다. 느슨한 병뚜껑은 꽉 잠긴 것과 똑같아 보이고, 문 걸쇠는 문 뒤에 가려질 수 있다. 이러한 상태 에일리어싱 때문에 이미지 기반 성공 분류기는 부분 관측 작업에서 실패한다.

제안 방법

로봇에게 물리적인 '행동 가능한' 성공 예시를 주고, 이 예시와 VICE로 학습한 초기 작업 정책이 만든 실패 결과에 작용하도록 SAC로 상호작용 보상 함수(IRF) 정책을 학습시켜, 이후 단일 관측 분류기가 이들을 구분할 수 있게 한다. IRF의 판정은 최종 작업 정책 학습을 위한 종료 보상이 되며, 같은 IRF를 실행 후에 돌려 작업이 완료되었다고 판단할 때까지 수행-검증 루프를 반복할 수 있다.

핵심 통찰

상호작용은 숨겨진 작업 성공 여부를 드러낼 수 있다. 학습된 IRF는 문을 당기거나, 탑의 맨 아래 블록을 찌르거나, 밸브에 반시계 방향의 작은 토크를 가한다.
단일 관측에 대한 분류기는 상태 에일리어싱 문제를 겪으며, 이 때문에 VICE와 GAIfO는 이러한 부분 관측 작업에서 성능이 낮다.
결과에 레이블을 붙이려면 상호작용 후의 관측 하나에 분류기를 적용하는 것으로 충분하며, IRF 궤적 전체에 대한 분류기는 필요 없다.
IRF는 특권 정보를 사용하지 않으므로 학습 후 루프 내 검증기로 쓸 수 있다.
학습된 IRF는 수작업으로 코딩한 상호작용 확인(Manual IRF)과 대등하거나 더 나았다.

주요 결과

LIRF / LIRF+Verify의 작업 성공률(Table 1): 문 잠그기 0.640 / 0.958, 블록 쌓기 0.846 / 0.884, 실제 로봇 나사 조이기 0.82 / 0.99.
같은 세 작업에서 VICE는 0.032, 0.310, 0.02, GAIfO는 0.112, 0.275, 0.0을 기록한다.
참 상태 보상은 0.714(문), 0.956(블록), 0.87(나사 조이기)을 기록한다. LIRF+Verify는 문 잠그기와 나사 조이기에서는 이를 앞서지만 블록 쌓기에서는 앞서지 못하는데, 본문은 LIRF+Verify가 모든 기준선보다 뛰어나다고 서술한다.
IRF 성공 분류 정확도: 문 잠그기 0.992 ± 0.006, 블록 쌓기 0.852 ± 0.023, 나사 조이기 0.98(Table 2).
필요한 행동 가능한 긍정 예시 수: 나사 조이기 1개, 문 잠그기 110개, 블록 쌓기 7k개.
학습에는 문 잠그기와 쌓기 LIRF 정책에 약 2M 시뮬레이션 스텝, 나사 조이기에 50k 스텝(실제 로봇에서 약 10시간), 각 IRF 정책에 약 20k 스텝이 걸렸다.

한계

LIRF는 단일 이미지 보상으로 학습한 작업 정책이 대부분 실패할 때 가장 도움이 되며, 완전 관측 설정에서는 IRF의 이점이 미미하거나 없다(저자들의 언급).
긍정 예시는 물리적으로 보관하고 로봇에게 제시해야 한다. 나사 조이기(예시 1개)에서는 쉽지만 블록 쌓기(7k개)에서는 번거롭다(저자들의 언급).
두 시뮬레이션 작업 모두에서 관측은 카메라 이미지가 아니라 '완벽한 시각을 모방한'(물체와 로봇의 자세) 것이다.
실제 로봇 테스트는 단일 밸브 돌리기 작업이며, 나사 잠김은 밸브 아래의 모터로 모방된다.

분야에 미친 영향

CoRL 2022 Best Paper Award 수상작이며 인용 수는 6회이다. 논문은 모든 코드와 환경을 공개할 예정이라고 밝히며, 공식 프로젝트 페이지는 공개 코드 저장소로 연결된다.

초록

물리적 상호작용은 쉽게 드러나지 않는 정보를 밝혀내는 데 도움이 되는 경우가 많다. 예를 들어 우리는 탁자 다리가 잘 만들어졌는지 평가하려고 잡아당겨 보거나, 물병이 새지 않는지 확인하려고 뒤집어 본다. 우리는 시도한 로봇 기술 실행의 결과를 평가하기 위해 로봇이 이러한 상호작용 행동을 자동으로 습득하도록 학습시키는 방법을 제안한다. 이러한 평가는 다시 탁자 다리를 단단히 나사로 조이는 것 같은 목표 기술을 수행하는 강화 학습 정책을 학습시키기 위한 "상호작용 보상 함수"(IRF)로 쓰인다. 또한 작업 정책이 완전히 학습된 뒤에도 IRF는 온라인 작업 실행을 개선하는 검증 메커니즘으로 쓰일 수 있다. 어떤 작업이든 우리의 IRF는 성공한 결과의 예시만으로 간편하게 학습시킬 수 있으며, 그 뒤 작업 정책을 학습시키는 데 추가적인 명세가 필요 없다. 시뮬레이션의 문 잠그기와 무게가 있는 블록 쌓기, 그리고 실제 로봇의 나사 조이기에 대한 평가에서 IRF는 큰 성능 향상을 가능하게 하며, 시연이나 신중하게 설계된 보상을 이용할 수 있는 기준선보다도 뛰어나다. 프로젝트 웹사이트: https://sites.google.com/view/lirf-corl-2022/

링크

arXiv 2212.08961: https://arxiv.org/abs/2212.08961
DOI 10.48550/arXiv.2212.08961: https://doi.org/10.48550/arXiv.2212.08961
PDF: https://proceedings.mlr.press/v205/huang23a/huang23a.pdf
코드: https://github.com/penn-pal-lab/lirf_public
프로젝트 페이지: https://sites.google.com/view/lirf-corl-2022/