Robot Parkour Learning

저자: Ziwen Zhuang, Zipeng Fu, Jianren Wang, Christopher Atkeson, Sören Schwertfeger, Chelsea Finn, Hang Zhao · CoRL 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

2단계 RL(먼저 관통 가능한 장애물, 다음에 실제 충돌)로 다섯 가지 파쿠르 기술을 학습하고, DAgger로 이를 저가형 Unitree A1과 Go1 로봇에서 온보드로 실행되는 단일 깊이 이미지 정책으로 증류한다.

중요한 이유

이 정책은 저가형 사족 로봇에서 온보드 연산, 온보드 깊이 센싱, 온보드 전원만으로 실행되며, 참조 동작 데이터가 필요 없고, 같은 학습 파이프라인이 두 로봇(A1과 Go1)을 구동한다. 저자들의 비교에서, 오르기와 뛰어넘기를 애초에 학습 가능하게 만든 것은 소프트 제약 사전 학습이었다.

문제

파쿠르에서는 로봇이 장애물을 인지하고 빠른 속도로 다양한 민첩한 기술 중에서 골라야 하지만, 이전 학습 방법은 항이 많은 보상 함수나 자기중심 시각이 없는 동물 모션 캡처 데이터를 사용하여, 다양하지만 시각이 없는 기술이나 시각 기반이지만 특화된 기술 중 하나만 제공한다. 저가형 소형 로봇에게는 장애물이 몸 크기에 비해 크고, 빠르게 움직이는 동안 온보드 깊이 인지가 지연되며(1 m/s에서 0.2 s 지연은 0.2 m의 오차), 파쿠르는 모터를 한계까지 몰아붙인다.

제안 방법

각 기술(오르기, 뛰어넘기, 기어가기, 기울이기, 달리기)은 IsaacGym에서 PPO로, 특권 장애물 정보와 1 m/s 근처의 전진 속도, 기계적 에너지, 생존에 대한 하나의 보상으로 학습한다. 1단계는 장애물을 관통 가능하게 만들고 자동 커리큘럼 하에서 관통 부피와 깊이에 페널티를 준다(직접 콜로케이션에서 영감을 받은 소프트 동역학 제약); 2단계는 실제 충돌로 미세 조정한다. 이어서 DAgger가 다섯 전문가 정책을 고유수용감각과 48×64 깊이 이미지를 입력받는 하나의 GRU 정책으로 증류하며, 이 정책은 일치시킨 깊이 전처리와 25 Nm 토크 제한과 함께 배치된다.

핵심 통찰

• 초기에 로봇이 관통 페널티와 자동 커리큘럼과 함께 장애물을 통과할 수 있게 하면 탐사 문제가 해결된다: 이것이 없을 때, 그리고 RND 탐사 베이스라인으로는 오르기나 뛰어넘기를 전혀 학습하지 못했다.
• 전진, 기계적 일률의 제곱, 생존 보너스로 이루어진 하나의 보상이 기술별 보상 튜닝이나 동작 데이터 없이 다섯 가지 기술을 모두 만들어 냈다.
• 정책에는 기억이 필요하다: 오를 때 뒷다리는 이전 깊이 이미지에서 본 장애물 치수에 따라 움직여야 하므로, GRU 정책은 성공하고 MLP 정책은 실패한다.
• DAgger로 행동 공간에서 증류하면 네트워크 가중치가 서로 다른 전문가 정책들을 하나의 시각 정책으로 합칠 수 있으며, 이는 RMA 방식의 잠재 공간 증류로는 할 수 없다.
• 깊이 이미지는 시뮬레이션(클리핑, 가우시안 잡음, 무작위 아티팩트)과 실제 카메라(클리핑, 구멍 메우기, 공간 및 시간 필터) 사이에서 맞추었다; 오르기에 실패하면 다시 시도하는 행동이 프로그래밍하지 않았는데도 나타났다.

주요 결과

• 실제 A1 실내 시험, 설정당 10회 시행: 0.40 m(로봇 높이의 1.53×) 오르기 성공 80%, 0.60 m 간격(로봇 길이의 1.5×) 뛰어넘기 80%, 0.2 m(로봇 높이의 0.76×) 아래 기어가기 90%, 그리고 몸을 기울여 0.28 m 틈 통과; A1 내장 MPC 제어기를 포함해 비교한 모든 방법 중 최고.
• 증류된 파쿠르 정책의 시뮬레이션 성공률(100회 시행 × 3개 시드, 테스트 장애물은 학습보다 어려움): 오르기 86%, 뛰어넘기 80%, 기어가기 100%, 기울이기 73%, 달리기 100%.
• 시뮬레이션 베이스라인: Blind는 오르기, 뛰어넘기, 기울이기 0%와 기어가기 13%; MLP는 오르기 0%와 뛰어넘기 1%; No Distill은 오르기, 뛰어넘기, 기울이기 0%; 기울이기에서만 실행한 RMA는 74%.
• 소프트 동역학 사전 학습으로 학습한 전문가 오라클은 오르기, 뛰어넘기, 기어가기, 기울이기에서 평균 약 95%의 성공률에 도달했다; 사전 학습이 없으면 오르기와 뛰어넘기에서 0%.
• 실외에서 로봇은 두 돌 걸상 사이의 0.6 m 간격을 뛰어넘고, 연속된 0.42 m 계단을 오르고, 캠핑 카트 아래로 기어갔다.
• 학습 비용: 각 전문가 정책은 Nvidia 3090 한 장을 갖춘 머신 한 대에서 소프트 동역학으로 12 h, 하드 동역학으로 6 h; 증류는 각각 3090 한 장을 갖춘 머신 네 대에서.

한계

• 시뮬레이션 환경은 수작업으로 구성되므로, 새 장애물 환경을 시뮬레이션에 추가할 때에만 새 기술을 학습할 수 있다(저자들이 밝힘).
• 정책은 깊이만 사용한다; 의미 정보를 담은 RGB로부터의 학습은 향후 과제로 남겨 둔다(저자들이 밝힘).
• 제한된 온보드 연산 때문에 온보드 깊이는 10 Hz로만 갱신되며, 정책은 가장 최근의 깊이 임베딩을 사용해 50 Hz로 실행된다.
• 정량적 실제 환경 시험은 A1에서만, 설정당 10회 시행으로 수행되었다; 0.28 m 기울이기 작업에 대해서는 실제 환경 성공률이 제시되지 않았다.

분야에 미친 영향

CoRL 2023 Best Systems Paper Award 최종 후보이며 인용 수는 356회이다. 저자들은 이를 민첩한 보행 정책을 학습하고 배치하기 위한 오픈 소스 시스템으로 제시하며, 프로젝트 페이지는 코드 저장소를 링크한다.

초록

파쿠르는 복잡한 환경에서 다양한 장애물을 빠르게 극복해야 하는, 다리 보행의 큰 도전 과제이다. 기존 방법은 참조 동물 데이터나 복잡한 보상을 사용하여, 다양하지만 시각이 없는 보행 기술이나 시각 기반이지만 특화된 기술 중 하나만 생성할 수 있다. 그러나 자율 파쿠르를 위해서는 로봇이 다양한 상황을 인지하고 대응할 수 있도록 시각 기반이면서 다양한, 일반화 가능한 기술을 배워야 한다. 이 연구에서 우리는 어떤 참조 동작 데이터도 없이 단순한 보상만으로 다양한 파쿠르 기술을 담은 단일 종단 간 시각 기반 파쿠르 정책을 학습하는 시스템을 제안한다. 우리는 직접 콜로케이션에서 영감을 받은 강화 학습 방법을 개발하여, 높은 장애물 오르기, 넓은 간격 뛰어넘기, 낮은 장애물 아래로 기어가기, 좁은 틈 비집고 지나가기, 달리기를 포함한 파쿠르 기술을 생성한다. 이 기술들을 단일 시각 기반 파쿠르 정책으로 증류하고, 자기중심 깊이 카메라를 사용하는 사족 로봇으로 전이한다. 우리는 이 시스템이 두 종류의 저가형 로봇이 자율적으로 적절한 파쿠르 기술을 선택하고 실행하여 어려운 실제 환경을 통과할 수 있게 함을 보인다.

링크

• arXiv 2309.05665: https://arxiv.org/abs/2309.05665
• DOI 10.48550/arXiv.2309.05665: https://doi.org/10.48550/arXiv.2309.05665
• PDF: https://proceedings.mlr.press/v229/zhuang23a/zhuang23a.pdf
• 코드: https://github.com/ZiwenZhuang/parkour
• 프로젝트 페이지: https://robot-parkour.github.io/