PHC

실시간 아바타를 위한 실패 상태 복구 기능을 갖춘 물리 기반 영구 휴머노이드 컨트롤러

라이선스

BSD-3-Clause

개요

PHC(Perpetual Humanoid Control)는 실시간 시뮬레이션 아바타와 휴머노이드 로봇을 위한 고충실도 모션 모방과 내결함성 행동을 달성하는 물리 기반 휴머노이드 컨트롤러입니다. ICCV 2023에서 발표되었으며, 노이즈가 있는 입력과 예상치 못한 낙상에서도 리셋 없이 시뮬레이션된 휴머노이드를 영구적으로 제어할 수 있습니다.

핵심 혁신은 점점 더 어려운 모션 시퀀스를 학습하기 위해 동적으로 새로운 네트워크 용량을 할당하는 Progressive Multiplicative Control Policy(PMCP)입니다. 이를 통해 최대 100% 성공률로 전체 AMASS 모션 데이터베이스(11,313 시퀀스)로 효율적으로 확장하면서, 파국적 망각 없이 실패 상태 복구 같은 새로운 기능을 추가할 수 있습니다.

PHC는 웹캠을 통한 비디오 기반 아바타 제어, Motion Diffusion Model 통합을 통한 자연어 명령, VR 컨트롤러 추적을 포함한 여러 제어 인터페이스를 지원합니다. SMPL, SMPLX(손가락 제어 포함), Unitree H1, Unitree G1 휴머노이드 형태와 함께 작동합니다.

시스템은 NVIDIA IsaacGym에서 실행되며 IsaacLab 통합이 포함됩니다. PHC는 휴머노이드 제어 연구를 위한 PULSE 및 ASAP 같은 프로젝트에서 사용되는 기초 구성 요소가 되었습니다.

Carnegie Mellon University와 NVIDIA의 협력으로 개발되었습니다.

PHC (Perpetual Humanoid Control)는 Carnegie Mellon University에서 NVIDIA와 협력하여 개발한 물리 기반 휴머노이드 컨트롤러로, ICCV 2023에서 발표되었습니다. 이 컨트롤러는 휴머노이드 시뮬레이션의 근본적인 문제를 해결합니다: 기존 컨트롤러는 예상치 못한 교란이나 어려운 모션 시퀀스를 만나면 영구적으로 실패하여 수동 리셋이 필요합니다. PHC는 대신 영속적 제어(perpetual control)를 달성합니다 — 넘어짐에서 회복하고 리셋 없이 무한히 작동을 계속할 수 있습니다.

핵심 혁신은 점진적 곱셈 제어 정책(Progressive Multiplicative Control Policy, PMCP)으로, 점점 더 어려운 동작을 처리하기 위해 새로운 네트워크 용량을 점진적으로 할당합니다. 이를 통해 전체 AMASS 모션 데이터베이스(11,313개 시퀀스)에서 최대 100% 성공률로 효율적인 훈련이 가능하며, 이전에 학습한 기술의 파국적 망각(catastrophic forgetting) 없이 회복 능력을 추가할 수 있습니다. 컨트롤러가 넘어지면 다시 일어나 목표 모션 추적을 재개할 수 있습니다.

PHC는 웹캠을 통한 비디오 기반 아바타 제어, Motion Diffusion Model 통합을 통한 자연어 명령, 몰입형 애플리케이션을 위한 VR 컨트롤러 트래킹을 포함한 다양한 제어 인터페이스를 지원합니다. SMPL, SMPLX(손가락 수준 제어 포함), 그리고 Unitree H1 및 G1을 포함한 휴머노이드 로봇 형태학과 호환되며, 최신 시뮬레이션 워크플로우를 위한 IsaacLab 통합을 제공합니다.

PHC는 휴머노이드 제어 연구 생태계의 기반 구성 요소가 되었으며, PULSE와 ASAP 같은 프로젝트가 그 영속적 제어 능력 위에 구축되었습니다. 임의의 교란에서도 안정적인 제어를 유지하는 능력은 수동 리셋이 불가능한 실시간 애플리케이션에 실용적입니다.

중요한 이유

PHC는 휴머노이드 시뮬레이션의 근본적인 문제를 해결합니다. 예상치 못한 외란이나 노이즈 입력 후 영구적으로 실패하는 컨트롤러 문제입니다. 자동 실패 상태 복구 기능을 갖춘 영구 제어 기능은 VR 아바타와 비디오 기반 휴머노이드 제어 같은 실시간 애플리케이션에 실용적입니다.

해결하는 문제

낙상이나 예상치 못한 외란 후 충돌하고 수동 리셋이 필요한 물리 기반 휴머노이드 컨트롤러, 실시간 애플리케이션에 비실용적으로 만듦

핵심 요점

• PHC+ 모델로 11,313개의 AMASS 모션 시퀀스에서 100% 성공률
• Progressive Multiplicative Control Policy로 파국적 망각 없이 확장 가능
• 휴머노이드 제어를 위한 비디오, 언어, VR 인터페이스 지원
• SMPL, SMPLX, Unitree H1, Unitree G1 형태에서 작동

대상

• 휴머노이드 제어 연구자
• VR 및 아바타 개발자
• 물리 시뮬레이션 연구자
• 강화 학습 실무자

한계

• IsaacGym 지원이 있는 NVIDIA GPU 필요
• 훈련에 AMASS 모션 캡처 데이터셋 필요(라이선스 필요)
• 상업적 사용을 위해 SMPL/SMPLX 바디 모델 라이선스 필요
• 많은 의존성이 있는 복잡한 다단계 설정