Extreme Parkour with Legged Robots

20시간 이내 훈련된 다리식 로봇 파쿠르용 RL 시스템

라이선스

BSD-3-Clause

개요

장애물 등반, 간격 점프, 험난한 지형 탐색을 포함한 파쿠르 기동을 다리식 로봇에게 가능하게 하는 강화 학습 시스템. Isaac Gym 시뮬레이터를 사용하여 20시간 이내에 훈련.

ICRA 2024의 이 획기적인 연구는 다리식 로봇이 강화 학습을 통해 놀랍도록 짧은 훈련 시간에 복잡한 파쿠르 기술을 배울 수 있음을 보여줍니다. 시스템은 2단계 훈련 파이프라인을 사용합니다: 기본 정책 훈련(8-10시간) 후 증류 정책 훈련. Isaac Gym과 PyTorch로 구축된 이 프레임워크는 이전에 광범위한 수작업 엔지니어링이 필요하다고 생각되던 지속적인 등반, 도약, 점프 기동을 로봇이 수행할 수 있게 합니다. 이 접근법은 legged_gym 환경과 rsl_rl 강화 학습 라이브러리를 결합하여 시뮬레이터 시각화와 헤드리스 시스템용 웹 기반 보기를 모두 지원합니다. 모델은 엣지 장치 배포를 위해 JIT 추적 버전으로 내보낼 수 있어 이 기술을 실제 애플리케이션에 실용적으로 만듭니다.

중요한 이유

Extreme Parkour는 강화 학습으로 보행 로봇에게 훈련된 동물에 버금가는 민첩한 동작을 가르칠 수 있음을 입증했습니다. 이 시스템은 20시간 미만의 학습으로 장애물을 오르고, 뛰어넘고, 기어서 통과하는 법을 익혔습니다 — 보행 로봇 민첩성의 획기적인 진전입니다.

해결하는 문제

보행 로봇은 일반적으로 평지 보행에 국한됩니다. 이 프로젝트는 RL이 로봇이 극한의 장애물을 통과할 수 있게 하는 민첩한 이동 행동을 발견할 수 있음을 보여주며, 어떤 지형이든 이동할 수 있는 로봇에 한 걸음 더 다가가게 합니다.

핵심 요점

• 파쿠르를 수행하는 보행 로봇: 장애물 오르기, 뛰어넘기, 기어서 통과하기
• 강화 학습을 사용해 전적으로 시뮬레이션에서 학습
• 20시간 미만의 학습으로 극한 동작 구현
• 실제 Unitree 로봇으로 제로샷 전이에 성공
• 사전 프로그래밍된 보행 패턴 없음 — 모든 동작을 엔드투엔드로 학습

대상

• 보행 이동 연구자
• 민첩한 사족 보행 제어기를 개발하는 팀
• 복잡한 운동 제어를 연구하는 RL 연구자
• 험지 배치용 로봇을 만드는 기업

한계

• 학습을 위해 특정 시뮬레이션 설정이 필요함
• 실제 환경 전이가 특정 Unitree 로봇 하드웨어로 제한됨
• 극한 동작은 하드웨어 마모나 손상을 일으킬 수 있음
• 현재 접근 방식은 범용이 아닌 작업 특화형임