Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks

저자: Soroush Nasiriany, Huihan Liu, Yuke Zhu · ICRA 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

RL 에이전트가 수작업으로 코딩한 뻗기, 잡기, 밀기, 놓기 프리미티브 또는 원시 모터 행동 중에서 고르고 그 매개변수를 정하여, 장기 조작에서의 탐색 부담을 줄인다.

중요한 이유

로봇공학에는 이미 잡기와 뻗기를 위한 신뢰할 수 있는 모듈이 있으며, 본 연구는 범용 RL 알고리즘이 수작업 작업 계획 없이 이들을 순서대로 엮는 법을 학습할 수 있음을 보인다. 정책이 프리미티브를 통해 행동하므로, 프리미티브를 하드웨어에 다시 구현하자 같은 정책이 시뮬레이션에서 실제 로봇으로 이전되었다.

문제

심층 강화학습은 로봇이 매우 큰 저수준 모터 행동 공간을 탐색해야 하기 때문에 장기 조작에서 어려움을 겪는다. 스킬을 처음부터 학습하는 계층적 RL 방법은 많은 샘플이 필요하며, 작업 및 모션 계획과 신경 프로그래밍은 미리 만든 모듈을 조합하기 위해 도메인 지식이나 사람의 감독에 의존한다.

제안 방법

MAPLE은 제어를 매개변수화된 행동 MDP로 정식화한다. 각 단계에서 상위 작업 정책이 프리미티브(뻗기, 잡기, 밀기, 그리퍼 놓기 또는 단일 원자적 행동)를 고르고, 프리미티브별 매개변수 하위 네트워크가 목표 위치와 요 각도 같은 입력을 정한다. 둘 다 수정된 Soft Actor-Critic으로 학습되며, 보상에 더해지는 해석적 어포던스 점수가 프리미티브 매개변수를 관련 물체 쪽으로 이끈다. 원자적 행동을 유지하면 에이전트가 접촉이 많은 삽입처럼 프리미티브로 표현할 수 없는 단계를 처리할 수 있다.

핵심 통찰

프리미티브를 먼저 고르고 그다음 매개변수를 정하는 계층적 정책이 유형과 매개변수를 독립적으로 샘플링하는 평면 정책보다 성능이 좋았다
Peg Insertion에서는 원자적(atomic) 프리미티브를 유지하는 것이 필요했다. 이것이 없는 버전은 0%에 그친 반면 MAPLE은 100%에 도달했다
어포던스 보상이 없거나 뻗기 또는 잡기 프리미티브가 없으면 에이전트는 Pick and Place를 풀지 못했다
학습된 프리미티브 시퀀스에 대한 레벤슈타인 거리 기반 조합성 점수는 접촉이 많은 작업(Peg Insertion 0.24, Wipe 0.67)에서 쥐기 작업(Lift와 Door 1.0)보다 낮다
학습된 작업 스케치는 유사한 작업에 재사용할 수 있어, 프리미티브 매개변수만 학습하면 된다

주요 결과

8개 시뮬레이션 작업에 대한 평균 최종 성공률: MAPLE 90%, Atomic SAC 19%, Flat 36%, Open Loop 41%, DAC 11%, 원자적 행동이 없는 MAPLE 79%
Atomic 기준선 대비 향상은 서론에서는 70% 증가로, 결과 절에서는 2-3× 더 높은 보상과 함께 71% 더 높은 성공률로 제시된다
논문은 MAPLE을 표준 robosuite 벤치마크의 모든 단일 팔 작업을 일관되게 푼 유일한 방법으로 기술한다
Pick and Place 탄산음료 캔 작업 스케치를 빵 변형으로 이전하자, 처음부터 학습할 때보다 5× 넘게 빠르게 목표 작업을 학습했다
작업당 30회 시행에 대한 실제 환경 성공률: Stack 93%(시뮬레이션 97%), Cleanup 83%(시뮬레이션 93%)
HIRO는 진척을 보이지 못해 결과에서 제외되었다

한계

저자들은 원자적 행동이 작은 공백은 메울 수 있지만 많은 저수준 행동이 필요한 큰 공백은 메울 수 없으며, 탐색과 신용 할당에 대한 추가 연구가 필요하다고 밝힌다
어포던스 점수는 물체 상태로부터 수작업으로 정의된다. 저자들은 학습된 어포던스를 향후 과제로 꼽는다
Wipe는 여전히 어렵다. MAPLE은 이 작업에서 42%의 성공률에 그친다
실제 환경 테스트에서는 자세 추정 오차를 우회하기 위해 물체의 피치, 요, 테이블 높이를 하드코딩했으며, 가림 문제에는 들어 올린 뒤 다시 추정하는 루틴이 필요했다
실제 환경의 실패는 주로 반복된 잘못된 파지나 로봇이 관절 한계에 도달해 안전 정지가 발생한 데서 비롯되었다

분야에 미친 영향

ICRA 2022 Outstanding Learning Paper award를 수상했으며 인용 수는 155회이다. 저자들은 프로젝트 페이지에서 코드와 영상을 공개한다.

초록

현실적인 조작 작업에서 로봇은 긴 모터 행동 시퀀스로 환경과 상호작용해야 한다. 심층 강화학습 방법은 최근 조작 행동을 자동화하는 유망한 패러다임으로 떠올랐지만, 탐색 부담 때문에 장기 작업에서는 대개 부족한 성능을 보인다. 본 연구는 MAPLE(MAnipulation Primitive-augmented reinforcement LEarning)을 소개한다. 이는 표준 강화학습 알고리즘에 미리 정의된 행동 프리미티브 라이브러리를 더하는 학습 프레임워크이다. 이 행동 프리미티브들은 잡기와 밀기 같은 조작 목표 달성에 특화된 강인한 기능 모듈이다. 이 이질적인 프리미티브들을 사용하기 위해, 우리는 프리미티브를 포함하고 입력 매개변수로 그 실행을 구체화하는 계층적 정책을 개발한다. 우리는 일련의 시뮬레이션 조작 작업에서 MAPLE이 기준 접근법들을 큰 차이로 능가함을 보인다. 또한 학습된 행동의 조합적 구조를 정량화하고, 정책을 새로운 작업 변형과 실제 하드웨어로 이전하는 우리 방법의 능력을 강조한다. 영상과 코드는 https://ut-austin-rpl.github.io/maple 에서 볼 수 있다

링크

arXiv 2110.03655: https://arxiv.org/abs/2110.03655
DOI 10.48550/arXiv.2110.03655: https://doi.org/10.48550/arXiv.2110.03655
PDF: https://arxiv.org/pdf/2110.03655v1
프로젝트 페이지: https://ut-austin-rpl.github.io/maple