Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

저자: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

저먼 셰퍼드 모션 캡처 4.5 s로부터 적대적으로 학습한 스타일 보상이 수작업 설계 보상을 대체하고, 더 낮은 이동 비용으로 실제 A1 사족 로봇에 전이된다.

중요한 이유

보상 조정은 sim-to-real 다리 보행에서 엔지니어링 작업의 큰 몫을 차지한다. 이 논문은 몇 초 분량의 참조 동작이 실제 사족 로봇에서 13개 항의 수작업 설계 스타일 보상을 대신할 수 있으며, 그럼에도 정책은 명령된 속도를 추종하기 위해 필요한 만큼 클립에서 벗어나고 속도에 따라 걸음새를 바꾼다는 것을 보여 준다.

문제

불충분하게 명세된 보상으로 학습된 다리 보행용 강화 학습 에이전트는 팔다리 휘젓기, 다리 진동, 고충격 접촉처럼 시뮬레이터의 부정확성을 악용하여 실제 로봇에서 실행할 수 없는 행동을 학습하는 경우가 많다. 일반적인 해결책은 복잡한 수작업 설계 스타일 보상인데, 이는 상당한 도메인 지식과 섬세한 조정이 필요하고 하나의 플랫폼과 작업에 특화되는 경향이 있다.

제안 방법

저자들은 컴퓨터 그래픽스의 Adversarial Motion Priors(AMP)를 응용한다. 최소 제곱 GAN 목적 함수와 그래디언트 페널티로 학습된 판별기가 모션 캡처 데이터셋의 상태 전이와 정책이 만든 전이를 구별하도록 학습하며, 그 출력은 속도 추종 작업 보상에 더해지는 스타일 보상이 된다(가중치 0.65와 0.35). 총 4.5초 분량의 저먼 셰퍼드 클립은 역기구학으로 A1 로봇에 리타기팅되고, 정책(30 Hz의 목표 관절 각도, PD 제어기로 추종)은 하드웨어 배치 전에 도메인 무작위화를 적용한 5,280개의 Isaac Gym 환경에서 PPO로 학습된다.

핵심 통찰

4.5 s 분량의 모션 캡처로부터 적대적으로 학습한 스타일 보상은 13개 항의 수작업 설계 스타일 보상을 대체할 수 있으며, 그럼에도 실제 사족 로봇에 배치할 수 있는 정책을 만들어 낸다.
판별기가 특정 클립을 추종하는 대신 상태 전이를 평가하므로, 정책은 참조 데이터에 나타나지 않는 속도 명령도 따를 수 있다.
모션 프라이어로 학습한 정책은 명령 속도에 따라 걸음새를 바꾸며(0.8 m/s에서 페이스, 1.7 m/s에서 트롯, 명령이 1 m/s에서 2 m/s로 오를 때 페이스에서 캔터로 전환), 저자들은 이를 동물이 에너지 사용을 줄이는 방식과 연관 짓는다.
스타일 보상이 없으면 정책은 발을 높은 속도와 토크로 진동시켜 부정확한 시뮬레이터 동역학을 악용한다. 속도 추종은 잘하지만 실제 로봇에서 실행하기에는 너무 격렬하다.
저자들은 더 낮은 이동 비용을 개의 동작 데이터에 이미 존재하는 에너지 효율적인 전략 덕분이라고 본다.

주요 결과

시뮬레이션에서의 기계적 이동 비용(Table II), 명령 속도 0.4, 0.8, 1.2, 1.6 m/s에서: AMP 보상은 1.07, 0.93, 1.02, 1.12, 복잡한 스타일 보상은 1.54, 1.37, 1.40, 1.41. 본문은 복잡한 보상의 범위를 1.37에서 1.65로 제시하는데, 이는 표의 최고값 1.54와 일치하지 않는다.
스타일 보상이 없으면 같은 네 속도에서 이동 비용이 14.03, 8.00, 6.05, 5.18이었으며, 이는 높은 토크와 모터 속도 때문이다.
명령 0.4/0.8/1.2/1.6 m/s에 대해 측정한 전진 속도: AMP 0.36/0.77/1.11/1.52 m/s, 복잡한 보상 0.41/0.88/1.28/1.67 m/s, 스타일 보상 없음 0.42/0.82/1.22/1.61 m/s.
학습에는 단일 Tesla V100 GPU에서 16시간 동안 40억 환경 스텝(시뮬레이션 데이터 약 4.2년 분량)이 걸렸다.
실제 A1에서 AMP 정책은 사인파 형태의 선속도 및 각속도 명령을 추종했고, 급회전이 있는 경로를 따라 조향했으며, 명령이 1 m/s에서 2 m/s로 오를 때 페이스에서 캔터로 전환했다.

한계

논문에는 한계 절이 없다. 실제 로봇 평가는 정성적이며(걸음새 다이어그램, 속도 기록, 이동 비용 그래프, 경로 추종 예시), 하드웨어에서 측정한 성공률이나 에너지 표는 없다.
Table II의 모든 이동 비용 및 속도 추종 수치는 시뮬레이션에서 나온 것이다.
참조 데이터는 저먼 셰퍼드 한 마리의 4.5 s 분량(페이스, 트롯, 캔터, 제자리 회전)이며 하나의 로봇인 A1에 리타기팅되었다. 다른 로봇이나 스킬은 시험하지 않았다.
시뮬레이션에서 AMP 정책은 시험한 모든 명령에서 명령된 전진 속도보다 약간 느리게 달린다(예: 1.6 m/s 명령에 1.52 m/s).

분야에 미친 영향

IROS 2022 Best Paper Award 및 ABB Best Student Paper Award 최종 후보이며, 210회 인용되었다. 논문은 영상이 있는 프로젝트 페이지와 프로젝트 저장소를 안내하며, 저장소는 github.com/Alescontrela/AMP_for_hardware 의 코드로 연결된다.

초록

불충분하게 명세된 보상 함수로 고차원 시뮬레이션 에이전트를 학습시키면, 에이전트가 실제 환경에 배치했을 때 효과가 없는 물리적으로 불가능한 전략을 학습하는 경우가 많다. 이러한 부자연스러운 행동을 완화하기 위해 강화 학습 실무자들은 물리적으로 그럴듯한 행동을 장려하는 복잡한 보상 함수를 자주 사용한다. 그러나 수작업으로 설계한 보상을 만들려면 지루하고 노동 집약적인 조정 과정이 필요한 경우가 많으며, 그러한 보상은 플랫폼과 작업 간에 쉽게 일반화되지 않을 수 있다. 우리는 복잡한 보상 함수를 모션 캡처 시연 데이터셋으로부터 학습한 “스타일 보상”으로 대체할 것을 제안한다. 학습된 스타일 보상은 임의의 작업 보상과 결합되어, 자연스러운 전략으로 작업을 수행하는 정책을 학습시킬 수 있다. 이러한 자연스러운 전략은 실제 환경으로의 전이도 쉽게 해 줄 수 있다. 우리는 참조 동작 데이터셋으로부터 스타일 보상을 인코딩하는 컴퓨터 그래픽스 분야의 접근법인 Adversarial Motion Priors를 기반으로, 정책 학습에 대한 적대적 접근법이 복잡한 보상 함수 없이도 실제 사족 로봇으로 전이되는 행동을 만들어 낼 수 있음을 보인다. 또한 저먼 셰퍼드로부터 수집한 몇 초 분량의 모션 캡처 데이터로 효과적인 스타일 보상을 학습할 수 있으며, 이것이 자연스러운 걸음새 전환을 갖춘 에너지 효율적인 보행 전략으로 이어짐을 보인다.

링크

arXiv 2203.15103: https://arxiv.org/abs/2203.15103
DOI 10.1109/IROS47612.2022.9981973: https://doi.org/10.1109/IROS47612.2022.9981973
PDF: https://arxiv.org/pdf/2203.15103v1
코드: https://github.com/escontra/AMP_for_hardware
프로젝트 페이지: https://sites.google.com/berkeley.edu/amp-in-real/home