Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Perceptive Humanoid Parkour

이어 붙인 인간 동작으로 Unitree G1용 깊이 카메라 파쿠르 정책을 학습

라이선스

Apache-2.0

개요

Perceptive Humanoid Parkour(PHP)는 같은 이름의 RSS 2026 논문(arXiv 2602.15827)을 구현한 Amazon FAR의 코드다. 논문에서 Unitree G1 휴머노이드 로봇은 본체에 탑재된 깊이 카메라만으로 장애물 코스를 달린다. 저장소에는 논문의 세 단계가 모두 들어 있다. 모션 매칭은 로봇에 맞게 리타기팅한 짧은 인간 기술 동작을 이어 붙여, 그에 맞는 지형과 함께 긴 참조 동작을 만든다. 이어서 강화 학습으로 교사 정책을 학습시켜, 특권 지형 정보를 사용해 이 동작을 추종하게 한다. 마지막으로 교사 정책들을 깊이 이미지만 보는 하나의 학생 정책으로 증류한다. 학습은 Amazon FAR의 휴머노이드 프레임워크인 Holosoma 위에서 Isaac Sim으로 진행하며, 내보낸 정책은 MuJoCo에서 실행해 볼 수 있다. 릴리스에는 모션 매칭 데이터베이스, 미리 준비된 학습 데이터셋 다섯 개, 내보낸 학생 정책 하나가 추가로 들어 있다. 코드는 Apache 2.0 라이선스로 배포된다.

PHP는 Unitree G1에서 휴머노이드 파쿠르를 학습시키는 파이프라인입니다. 버전이 고정된 Holosoma 서브모듈과 함께 클론하면 세 가지 작업을 수행하며, 작업마다 별도의 가이드가 있습니다. 모션 매칭은 데이터를 만듭니다. 로봇에 리타기팅한 사람의 걷기, 달리기, 계단 오르기, 기어오르기, 구르기, 장애물 넘기 클립을 이어 붙여 긴 참조 동작을 만들고, 각 동작에 무작위 상자 지형을 짝지어 줍니다. Conda만 있으면 되고 시뮬레이터는 필요 없습니다. 학습은 Isaac Sim의 Holosoma에서 실행되며 Linux와 NVIDIA GPU가 필요합니다. 교사 정책은 특권 지형 정보를 이용해 생성된 동작을 추종하도록 학습합니다. 이어서 런처가 DAgger 모방 학습과 강화학습을 섞어 이들을 하나의 학생 정책으로 증류합니다. 학생은 RealSense D435i 깊이 영상, 몸의 고유감각, 방향 명령만 봅니다. 학생은 깊이 인코더와 정책 두 개의 ONNX 파일로 내보내지며, sim-to-sim 가이드가 이를 MuJoCo에서 키보드 조작으로 실행합니다.

가장 빠른 시작 방법은 데모입니다. 다운로드 스크립트가 공개된 학생 정책을 받아 저장소의 체크섬으로 검증하고, sim-to-sim 가이드가 이를 MuJoCo에서 실행합니다. 직접 학습하려면 준비된 데이터셋에서 시작하거나 모션 매칭으로 새로 생성하면 됩니다. 스킬 목록에는 계단, 여러 높이의 기어오르기, 구르기, 허들, 세 종류의 장애물 넘기, 점프, 뛰어내리기가 있으며, 직접 만든 클립으로 스킬을 추가하고 새 코스를 구성하는 도구도 있습니다.

공개된 것: Apache 2.0 코드, 모션 매칭 데이터베이스, 보행·계단·최대 0.76 m 기어오르기를 다루는 준비된 학습 데이터셋 다섯 개, 그리고 상류에서 깊이 기반 보행 정책이라고 설명하는 학생 정책 하나. 공개되지 않은 것: 교사 체크포인트, 장애물 넘기·구르기·1.25 m 기어오르기용 준비 데이터, 실제 로봇용 가이드. 저장소의 모든 내용은 시뮬레이션에서 끝나므로, 정책을 실제 G1에 올리는 일은 사용자에게 맡겨져 있습니다.

이 코드는 Amazon FAR가 RSS 2026에 발표한 같은 이름의 논문과 함께 공개되었습니다. 논문은 민첩한 휴머노이드 동작에는 세 가지가 동시에 필요하다고 주장합니다. 사람처럼 보이는 동작, 그것을 긴 코스에서 이어 가는 능력, 그리고 그중 무엇을 쓸지 고르는 인지입니다. 파이프라인이 각각에 하나씩 단계를 두는 이유가 여기에 있습니다. 논문은 실제 G1이 깊이 영상만으로 최대 1.25 m 기어오르기, 장애물 넘기, 구르기를 선택해 수행했다고 보고합니다. 이는 논문의 결과이며, 공개된 내용만으로 바로 재현되는 것은 아닙니다.

중요한 이유

휴머노이드 파쿠르는 지금까지 대부분 영상으로만 공개되었다. 이 프로젝트는 그 수준의 결과 가운데 방법까지 함께 공개된 몇 안 되는 사례다. 논문은 G1이 자기 키의 96%에 해당하는 최대 1.25 m 높이의 장애물을 오르고, 탑재된 깊이 센서와 단순한 방향 명령만으로 볼트, 클라임, 롤을 연달아 수행했다고 보고한다. 코드는 참조 동작을 어떻게 만들었는지, 추종 정책을 어떻게 학습했는지, 그리고 이를 어떻게 하나의 인지 기반 정책으로 합쳤는지를 보여 준다. 이미 많은 연구실이 보유한 로봇과, 그 자체로 오픈 소스인 프레임워크를 기반으로 한다.

해결하는 문제

모션 추종 제어기는 휴머노이드가 녹화된 클립 하나를 재현하게 할 수 있지만, 클립은 고정되어 있다. 새로운 코스에 맞춰 순서를 바꿀 수도, 장애물이 옮겨졌을 때 맞춰 조정할 수도 없다. PHP는 무작위로 생성한 지형에 맞게 짧은 기술 동작을 이어 붙여 참조 동작을 필요할 때마다 생성하고, 깊이 카메라에 보이는 것을 바탕으로 알맞은 기술을 골라 수행하는 단일 정책을 학습시킨다.

핵심 요점

  • 하나의 저장소에 세 단계: 모션 매칭, 교사 정책 학습, 깊이 기반 학생 정책으로의 증류
  • 모션 매칭은 리타기팅된 인간 기술 동작을 지형과 짝지은 긴 궤적으로 구성하며, 시뮬레이터가 필요 없다
  • 교사와 학생 정책은 Isaac Sim의 Holosoma 위에서 학습하고, 내보낸 ONNX 한 쌍은 MuJoCo에서 실행된다
  • 학생 정책은 RealSense D435i 깊이 이미지, 고유수용 감각, 방향 명령을 입력받아 기술을 스스로 선택한다
  • 릴리스에는 모션 데이터베이스, 동작과 지형 쌍 296개로 이루어진 준비된 데이터셋 다섯 개, 학생 정책 하나가 포함된다
  • 논문은 실제 Unitree G1에서 최대 1.25 m 클라임을 보고한다. RSS 2026에 채택되었고 코드는 Apache-2.0이다

대상

  • 휴머노이드 전신 제어와 민첩한 보행을 연구하는 연구자
  • Unitree G1을 보유하고 있으며 인지 기반 모션 추종 정책이 필요한 연구실
  • 깊이 기반 학습의 완결된 예제를 찾는 Holosoma 사용자
  • 여러 전문가 정책을 하나의 비전 기반 정책으로 증류하는 방법을 공부하는 사람

한계

  • Unitree G1 전용으로 만들어졌으며, 깊이 기반 학생 정책은 RealSense D435i에 묶여 있다
  • 학습과 평가에는 Linux, NVIDIA GPU, Isaac Sim이 필요하며, 다중 교사 예제는 GPU 여덟 대를 사용한다
  • 교사 정책 체크포인트가 공개되지 않아, 학생 정책을 재현하려면 먼저 교사 정책을 학습해야 한다
  • 준비된 데이터셋은 보행, 스텝, 0.76 m 클라임만 다루며, 논문의 볼트, 롤, 1.25 m 클라임은 포함하지 않는다
  • 저장소는 시뮬레이션만 문서화하고 있으며, 실제 로봇에서 정책을 실행하는 가이드는 없다
  • Holosoma 릴리스가 아니라 고정된 Holosoma 브랜치에 의존하며, 로깅은 기본적으로 Weights & Biases를 사용한다

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.