HumanPlus: Humanoid Shadowing and Imitation from Humans

저자: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

40 h 분량의 인간 동작으로 학습한 RL 정책 덕분에 33-DoF 휴머노이드가 RGB 카메라 한 대로 본 조작자를 따라 하며, 이렇게 얻은 원격 조작 데이터로 시각 기술 정책을 학습해 60–100%의 성공률을 얻는다.

중요한 이유

원격 조작 구성에는 조작자 한 명과 RGB 카메라 한 대(논문의 비교표에 $50로 기재)만 필요하며, 쪼그려 앉기와 걷기를 포함해 몸과 손을 함께 제어한다. 휴머노이드를 다루는 팀은 기술마다 과제 전용 시뮬레이션을 구축하지 않고도 저비용 전신 시연에서 자율 기술로 가는 경로를 얻는다.

문제

휴머노이드는 원리적으로 대량의 인간 동작 데이터로부터 학습할 수 있지만, 형태와 구동 방식의 차이, 어려운 전신 인식과 제어, 그리고 접근 가능한 전신 데이터 파이프라인의 부재가 이를 가로막아 왔다. 기존 휴머노이드 원격 조작은 모션 캡처 슈트, 외골격 또는 VR 헤드셋에 의존했는데, 저자들은 이를 비싸고 사용 장소가 제한된다고 설명한다.

제안 방법

디코더 전용 트랜스포머 저수준 정책(Humanoid Shadowing Transformer)을 로봇에 리타게팅한 AMASS 인간 자세로 시뮬레이션에서 PPO로 학습한 다음, 1000 Hz PD 제어기와 함께 50 Hz로 제로샷 배치한다. RGB 카메라 한 대로 추정한 신체 자세(WHAM)와 손 자세(HaMeR)를 실시간으로 리타게팅하므로, 조작자 한 명이 로봇 전체를 조종하는 동안 머리의 카메라 두 대가 1인칭 데이터를 기록한다. ACT를 변형한 디코더 전용 Humanoid Imitation Transformer를 이 시연으로 학습하며, 정책이 시각을 무시하지 않도록 예측된 미래 이미지 특징에 L2 손실을 추가한다.

핵심 통찰

목표 자세를 조건으로 받고 리타게팅된 인간 동작으로 학습한 과제 비의존적 저수준 정책 하나가 기술별 보상 설계를 대체하며, 하드웨어로 제로샷 전이된다.
RGB 카메라 한 대를 이용한 섀도잉으로 조작자 한 명이 몸과 손을 동시에 제어할 수 있다. 키네스테틱, ALOHA 방식, Meta Quest 기준선은 조작자가 두 명 이상 필요했고 전신 제어를 지원하지 않았다.
행동과 함께 미래 이미지 특징 토큰을 예측하면 시각 정책이 고유수용감각에 과적합되는 것을 막는다. 이것이 없는 ACT는 이미 완료한 하위 과제를 반복하는 데 갇혔다.
깊이가 중요할 때는 양안 입력이 중요하다. 단안 변형은 Wear a Shoe and Walk에서 완전히 실패했고 Fold Clothes에서는 테이블을 거칠게 다루었다.

주요 결과

모방 정책의 전체 과제 성공률: Fold Clothes 100%, Rearrange Objects 90%, Type "AI" 80%, Two-Robot Greeting 90%, Warehouse 90%, Wear a Shoe and Walk 60%로, 과제당 25–40개의 시연을 사용했다.
Wear a Shoe and Walk(시연 40개): HIT 60%, 단안 변형, ACT, 개루프 재생은 0%. ACT는 Type "AI"에서도 0%였지만 Fold Clothes, Warehouse, Two-Robot Greeting에서는 HIT와 같았다.
참가자 6명 사용자 연구: Rearrange Objects의 전체 과제 시간은 섀도잉 5.20 s, 키네스테틱 6.60 s, ALOHA 방식 7.15 s, Meta Quest 8.87 s였다. 쪼그려 앉아야 하는 Rearrange Lower Objects 과제는 섀도잉만 수행할 수 있었다(15.34 s).
골반 밀기 시험: 학습된 정책은 32/44/70/100 N(전/후/좌/우)을 견뎠고 H1 기본 제어기는 24/36/40/40 N이었으며, 회복 시간은 1.2 s 대 15 s였다.
학습된 정책은 0.44 m까지 쪼그려 앉고(기본 제어기 0.85 m), 0.35 m 점프하며(기본 0 m), 의자에서 일어설 수 있는데, 기본 제어기는 이를 할 수 없다.
신체 자세 추정과 리타게팅은 RTX 4090에서 25 fps, 손 자세는 10 fps로 동작한다. 모방 정책은 온보드에서 25 Hz로 동작하며 50 Hz 저수준 정책에 입력을 공급한다.

한계

하드웨어의 DoF가 인간보다 적다. 1-DoF 발목은 한쪽 다리를 들어 흔드는 것 같은 동작을 막고, 5-DoF 팔(손목 포함)은 6-DoF 작업 공간 제어를 제한하며 섀도잉 중 도달할 수 없는 영역을 남긴다.
1인칭 카메라는 머리에 고정되어 있고 능동적으로 움직이지 않으므로, 손과 상호작용이 시야에서 벗어날 수 있다.
고정된 리타게팅 맵은 로봇에 없는 인간 관절을 버리므로, 학습이 인간 동작의 일부로 제한될 수 있다.
자세 추정은 큰 가림이 있으면 실패하여 조작자가 설 수 있는 위치가 제한된다. 조작자는 또한 로봇을 직접 볼 수 있는 시야에 의존한다.
장기 내비게이션은 다루지 않는다. 저자들은 이를 위해서는 훨씬 많은 시연과 정확한 실제 속도 추종이 필요할 것이라고 밝힌다.

분야에 미친 영향

CoRL 2024 Outstanding Paper Award 최종 후보였으며, 인용 수는 442회이다. 공식 프로젝트 페이지는 github.com/MarkFzp/humanplus 에 있는 코드를 링크한다.

초록

인간과 비슷한 형태의 로봇을 만들어야 한다는 핵심 논거 중 하나는 방대한 인간 데이터를 학습에 활용할 수 있다는 점이다. 그러나 휴머노이드 인식과 제어의 복잡성, 형태와 구동 방식에서 휴머노이드와 인간 사이에 남아 있는 물리적 격차, 그리고 휴머노이드가 1인칭 시각으로부터 자율 기술을 학습하기 위한 데이터 파이프라인의 부재 때문에, 실제로 이를 실현하는 일은 여전히 어렵다. 본 논문에서 우리는 휴머노이드가 인간 데이터로부터 동작과 자율 기술을 학습하기 위한 풀스택 시스템을 소개한다. 먼저 기존의 40시간 분량 인간 동작 데이터셋을 사용하여 시뮬레이션에서 강화 학습으로 저수준 정책을 학습한다. 이 정책은 실제 세계로 전이되며, 휴머노이드 로봇이 RGB 카메라 하나만으로 인간의 신체와 손 동작을 실시간으로 따라 할 수 있게 한다. 이를 섀도잉(shadowing)이라 한다. 섀도잉을 통해 인간 조작자는 휴머노이드를 원격 조작하여 실제 세계에서 다양한 과제를 학습하기 위한 전신 데이터를 수집할 수 있다. 수집된 데이터를 사용하여 1인칭 시각 기반 기술 정책을 지도 행동 복제로 학습하며, 이를 통해 휴머노이드는 인간의 기술을 모방하여 다양한 과제를 자율적으로 완수할 수 있다. 우리는 자체 제작한 33-DoF, 180cm 휴머노이드에서 시스템을 시연하며, 최대 40개의 시연을 사용하여 신발을 신고 일어서서 걷기, 창고 선반에서 물건 내리기, 스웨트셔츠 개기, 물건 재배치, 타이핑, 다른 로봇과 인사하기 등의 과제를 60-100%의 성공률로 자율적으로 완수한다. 프로젝트 웹사이트: https://humanoid-ai.github.io/

링크

arXiv 2406.10454: https://arxiv.org/abs/2406.10454
DOI 10.48550/arXiv.2406.10454: https://doi.org/10.48550/arXiv.2406.10454
PDF: https://raw.githubusercontent.com/mlresearch/v270/main/assets/fu25a/fu25a.pdf
코드: https://github.com/MarkFzp/humanplus
프로젝트 페이지: https://humanoid-ai.github.io/