PHC

Controlador humanoide perpétuo baseado em física com recuperação de estado de falha para avatares em tempo real

Licença

BSD-3-Clause

Visão geral

PHC (Perpetual Humanoid Control) é um controlador humanoide baseado em física que alcança imitação de movimento de alta fidelidade e comportamento tolerante a falhas para avatares simulados em tempo real e robôs humanoides. Apresentado no ICCV 2023, pode controlar perpetuamente humanoides simulados sem exigir reinicializações, mesmo na presença de entradas ruidosas e quedas inesperadas.

A inovação chave é a Progressive Multiplicative Control Policy (PMCP), que aloca dinamicamente nova capacidade de rede para aprender sequências de movimento cada vez mais difíceis. Isso permite escalonamento eficiente para o banco de dados de movimento AMASS completo (11.313 sequências) com até 100% de taxa de sucesso, enquanto adiciona novos recursos como recuperação de estado de falha sem esquecimento catastrófico.

PHC suporta múltiplas interfaces de controle incluindo controle de avatar baseado em vídeo via webcam, comandos em linguagem natural através da integração do Motion Diffusion Model e rastreamento do controlador VR. Funciona com morfologias humanoides SMPL, SMPLX (com controle de dedos), Unitree H1 e Unitree G1.

O sistema roda no NVIDIA IsaacGym e inclui integração com IsaacLab. PHC tornou-se um componente fundamental usado por projetos como PULSE e ASAP para pesquisa de controle humanoide.

Desenvolvido na Carnegie Mellon University em colaboração com a NVIDIA.

PHC (Perpetual Humanoid Control) é um controlador de humanoides baseado em física desenvolvido na Carnegie Mellon University em colaboração com a NVIDIA, apresentado no ICCV 2023. Ele resolve um problema fundamental na simulação de humanoides: controladores convencionais falham permanentemente quando encontram perturbações inesperadas ou sequências de movimento difíceis, exigindo resets manuais. O PHC, em vez disso, alcança controle perpétuo — ele consegue se recuperar de quedas e continuar operando indefinidamente sem resets.

A inovação principal é a Progressive Multiplicative Control Policy (PMCP), que aloca progressivamente nova capacidade de rede para lidar com movimentos cada vez mais difíceis. Isso permite treinamento eficiente no banco de dados completo de movimentos AMASS (11.313 sequências) com até 100% de taxa de sucesso, adicionando capacidades de recuperação sem esquecimento catastrófico de habilidades previamente aprendidas. Quando o controlador cai, ele consegue se levantar e retomar o rastreamento do movimento-alvo.

O PHC suporta múltiplas interfaces de controle, incluindo controle de avatar baseado em vídeo via webcam, comandos em linguagem natural através da integração com o Motion Diffusion Model e rastreamento de controladores VR para aplicações imersivas. Ele funciona com SMPL, SMPLX (com controle ao nível dos dedos) e morfologias de robôs humanoides incluindo Unitree H1 e G1, com integração ao IsaacLab para fluxos de trabalho de simulação modernos.

O PHC se tornou um bloco fundamental no ecossistema de pesquisa em controle de humanoides, com projetos como PULSE e ASAP construídos sobre suas capacidades de controle perpétuo. Sua habilidade de manter controle estável através de perturbações arbitrárias o torna prático para aplicações em tempo real onde resets manuais são impossíveis.

Por que importa

PHC resolve um problema fundamental na simulação humanoide — controladores que falham permanentemente após perturbações inesperadas ou entrada ruidosa. Sua capacidade de controle perpétuo com recuperação automática de estado de falha o torna prático para aplicações em tempo real como avatares VR e controle humanoide orientado por vídeo.

Problema que resolve

Controladores humanoides baseados em física que travam e requerem reinicializações manuais após quedas ou perturbações inesperadas, tornando-os impraticáveis para aplicações em tempo real

Pontos principais

• 100% de taxa de sucesso em 11.313 sequências de movimento AMASS com o modelo PHC+
• Progressive Multiplicative Control Policy permite escalonamento sem esquecimento catastrófico
• Suporta interfaces de vídeo, linguagem e VR para controle humanoide
• Funciona com morfologias SMPL, SMPLX, Unitree H1 e Unitree G1

Para quem é

• Pesquisadores de controle humanoide
• Desenvolvedores de VR e avatares
• Pesquisadores de simulação física
• Praticantes de aprendizado por reforço

Limitações

• Requer GPU NVIDIA com suporte a IsaacGym
• O treinamento requer o conjunto de dados de captura de movimento AMASS (licença necessária)
• Licença do modelo de corpo SMPL/SMPLX necessária para uso comercial
• Configuração complexa em múltiplas etapas com muitas dependências