Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

저자: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

DWL은 노이즈가 섞인 고유수용감각으로부터 로봇의 전체 상태를 복원하는 법을 배우는 휴머노이드 보행 정책을 Isaac Gym에서 학습한 뒤, 이를 변경 없이 실제 XBot 로봇에서 계단, 경사, 눈 위로 실행한다.

중요한 이유

카메라나 LiDAR 없이 관절 측정값, IMU 데이터, 클록 신호, 속도 명령만 사용하는 동일한 정책이 두 가지 크기의 휴머노이드로 제로샷 전이되었고, 계단, 경사, 불규칙한 블록, 눈, 추가 하중, 밀기를 견뎌 냈다. 다리형 로봇 엔지니어에게는 행동을 생성하는 바로 그 네트워크에서 상태 추정(베이스 속도, 발 접촉, 대략적인 지형 프로파일)을 얻는 구체적인 방법이다. 또한 능동적으로 제어되는 2-DoF 발목이 더 어려운 지형에서 중요했음을 보여 주는 직접 비교를 제공한다.

문제

휴머노이드는 무게 중심이 높고, 다리, 몸통, 팔이 무거우며, 다리 스윙 단계가 불안정하다. 저자들은 휴머노이드를 위한 기존의 실제 환경 RL 제어기가 비교적 단순한 지형에 한정되었다고 언급한다. 시뮬레이션에서 학습한 정책은 또한 노이즈가 있는 센서, 불완전한 시뮬레이션 동역학, 그리고 선속도와 접촉력처럼 실제 로봇이 측정할 수 없는 물리량에 대처해야 한다.

제안 방법

Denoising World Model Learning(DWL)은 sim-to-real 격차를 실제 상태에 더해진 노이즈로 취급한다. 학습 중에는 관측할 수 없는 물리량을 마스킹하고 도메인 무작위화를 적용하며, GRU 인코더가 관측 이력을 24차원 잠재 벡터로 압축하고, 디코더는 이로부터 베이스 속도, 마찰, 발 접촉, 지형 높이 스캔을 포함한 전체 상태를 복원해야 한다. 액터는 이 잠재 벡터에 따라 행동하며 PPO로 학습되고, 비대칭 크리틱은 전체 상태를 보며, 디노이징, 정책, 가치 손실이 함께 최적화된다. 정책은 닫힌 기구학적 체인을 통해 두 발목 자유도를 모두 능동적으로 제어하며, 5차 다항식 발 궤적이 부드러운 발 접촉에 대한 조밀한 보상을 제공한다.

핵심 통찰

sim-to-real 격차를 환경, 동역학, 센서, 마스킹 노이즈로 모델링하고 이를 제거하도록 인코더-디코더를 학습하면, 정책에 상태 추정기가 내장된다.
고유수용감각만으로도 잠재 상태는 대략적인 지형 높이 프로파일, 발 접촉, 베이스 속도를 복원하기에 충분한 정보를 담고 있으며, 로봇이 경사에서 계단으로 이동하면 보행 패턴이 바뀐다.
닫힌 기구학적 체인을 통한 두 발목 DoF의 능동 제어는 불규칙한 지형과 계단에서 결정적이었다. Isaac Gym은 닫힌 체인을 모델링할 수 없으므로 가상 모터 두 개를 시뮬레이션하고 그 목표값을 실제 모터로 다시 매핑한다.
희소한 접촉력에만 의존하지 않고 계획된 5차 다항식 스윙 궤적을 따르는 발 속도 추종에 보상을 주면, 매 스텝마다 보상 신호가 주어지고 부드러운 착지가 유도된다.

주요 결과

XBot-S에서 DWL은 경사, 계단 오르기, 계단 내려가기, 불규칙 지형에서 100% 성공했다. 발목 제어를 갖춘 PPO는 80%, 20%, 60%, 20%, 수동 발목을 사용한 DWL은 80%, 20%, 100%, 40%를 기록했다.
로봇은 들고 있는 가방에 점진적으로 최대 15 kg(자체 무게의 3분의 1 이상)을 더해도 계속 걸었고, 최대 20 kg의 추가 하중으로 걸었으며, 60 kg을 실은 카트를 밀었다.
MuJoCo sim-to-sim 시험에서 60 s 동안의 전진 속도 추정 MSE는 0.046, 오일러 요 추정 MSE는 0.074였다. 실제 로봇에서는 IMU 드리프트가 약 87% 줄었다.
500 Hz PD 루프와 함께 100 Hz로 동작하는 하나의 정책이 XBot-S(1.2 m, 38 kg)와 XBot-L(1.65 m, 57 kg)로 제로샷 전이되었으며, 시멘트, 벽돌, 흙, 눈 위의 야외 보행도 포함했다.
DWL 액터는 약 320,192개의 학습 가능한 파라미터를 가지며, 12,288개의 병렬 시뮬레이션 환경으로 학습되었다.

한계

정책은 시각 입력을 사용하지 않는다. 저자들은 까다로운 지형에서의 내비게이션을 위해 시각 정보를 추가하는 일을 향후 과제로 남긴다.
저자들은 고유수용감각으로부터 정밀한 지형 형상을 예측하는 일이 여전히 어렵다고 밝힌다. 대략적인 프로파일만 복원된다.
실제 로봇에서는 실제 상태를 측정할 수 없으므로, 속도와 요 추정 정확도는 하드웨어가 아니라 MuJoCo sim-to-sim 전이에서 확인되었다.
벤치마크 비교는 팔을 고정한 XBot-S에서만 수행되었으며, 논문은 각 성공률이 몇 회의 시행에 기반하는지 밝히지 않는다.
다리 제어만 다룬다. 연구 내내 팔 모터는 고정되어 있었다.

분야에 미친 영향

RSS 2024 Outstanding Paper Award 최종 후보였으며 152회 인용되었다. 논문은 부록에 전체 네트워크 구조, 보상 항, 도메인 무작위화 범위, 하이퍼파라미터를 공개한다. 코드, 모델 또는 하드웨어 설계 공개는 명시되어 있지 않다.

초록

인간과 비슷한 골격 구조를 가진 휴머노이드 로봇은 인간 중심 환경의 과제에 특히 적합하다. 그러나 이 구조에는 보행 제어기 설계에서 추가적인 어려움이 따르며, 특히 복잡한 실제 환경에서 그러하다. 그 결과 기존 휴머노이드 로봇은 모델 기반 제어든 모델 프리 강화 학습이든 비교적 단순한 지형에 한정되어 있다. 본 연구에서 우리는 휴머노이드 보행 제어를 위한 종단 간 강화 학습 프레임워크인 Denoising World Model Learning(DWL)을 소개하며, 이는 야외의 눈 덮인 경사지, 계단 오르내리기, 극도로 고르지 않은 지형 같은 실제 세계의 까다로운 지형을 숙달한 세계 최초의 휴머노이드 로봇을 보여 준다. 모든 시나리오는 제로샷 sim-to-real 전이로 동일한 학습된 신경망을 실행하며, 이는 제안된 방법의 뛰어난 강인성과 일반화 능력을 나타낸다.

링크

arXiv 2408.14472: https://arxiv.org/abs/2408.14472
DOI 10.15607/rss.2024.xx.058: https://doi.org/10.15607/rss.2024.xx.058
PDF: https://arxiv.org/pdf/2408.14472v1