PHC

Contrôleur humanoïde perpétuel basé sur la physique avec récupération après échec pour les avatars en temps réel

Licence

BSD-3-Clause

Aperçu

PHC (Perpetual Humanoid Control) est un contrôleur humanoïde basé sur la physique qui atteint une imitation de mouvement haute fidélité et un comportement tolérant aux pannes pour les avatars simulés en temps réel et les robots humanoïdes. Présenté à ICCV 2023, il peut contrôler perpétuellement des humanoïdes simulés sans nécessiter de remises à zéro, même en présence d'entrées bruitées et de chutes inattendues.

L'innovation clé est la Progressive Multiplicative Control Policy (PMCP), qui alloue dynamiquement de nouvelles capacités réseau pour apprendre des séquences de mouvement de plus en plus difficiles. Cela permet une mise à l'échelle efficace vers l'ensemble de la base de données de mouvement AMASS (11 313 séquences) avec jusqu'à 100 % de taux de réussite, tout en ajoutant de nouvelles capacités comme la récupération après échec sans oubli catastrophique.

PHC prend en charge plusieurs interfaces de contrôle incluant le contrôle d'avatar basé sur vidéo via webcam, les commandes en langage naturel via l'intégration du Motion Diffusion Model et le suivi du contrôleur VR. Il fonctionne avec les morphologies humanoïdes SMPL, SMPLX (avec contrôle des doigts), Unitree H1 et Unitree G1.

Le système fonctionne sur NVIDIA IsaacGym et inclut une intégration IsaacLab. PHC est devenu un composant fondateur utilisé par des projets comme PULSE et ASAP pour la recherche en contrôle humanoïde.

Développé à l'Université Carnegie Mellon en collaboration avec NVIDIA.

PHC (Perpetual Humanoid Control) est un contrôleur humanoïde basé sur la physique développé à Carnegie Mellon University en collaboration avec NVIDIA, présenté à ICCV 2023. Il résout un problème fondamental de la simulation humanoïde : les contrôleurs conventionnels échouent définitivement lorsqu'ils rencontrent des perturbations inattendues ou des séquences de mouvements difficiles, nécessitant des réinitialisations manuelles. PHC atteint au contraire un contrôle perpétuel — il peut se relever après des chutes et continuer à fonctionner indéfiniment sans réinitialisation.

L'innovation clé est la Progressive Multiplicative Control Policy (PMCP), qui alloue progressivement de nouvelles capacités réseau pour gérer des mouvements de plus en plus difficiles. Cela permet un entraînement efficace sur l'intégralité de la base de données de mouvements AMASS (11 313 séquences) avec un taux de réussite pouvant atteindre 100 %, tout en ajoutant des capacités de récupération sans oubli catastrophique des compétences apprises auparavant. Lorsque le contrôleur tombe, il peut se relever et reprendre le suivi du mouvement cible.

PHC prend en charge plusieurs interfaces de contrôle, notamment le contrôle d'avatar par vidéo via webcam, les commandes en langage naturel grâce à l'intégration de Motion Diffusion Model, et le suivi de contrôleurs VR pour les applications immersives. Il fonctionne avec SMPL, SMPLX (avec contrôle au niveau des doigts) et des morphologies de robots humanoïdes, notamment Unitree H1 et G1, avec une intégration IsaacLab pour les flux de travail de simulation modernes.

PHC est devenu un composant fondamental de l'écosystème de recherche sur le contrôle humanoïde, des projets comme PULSE et ASAP s'appuyant sur ses capacités de contrôle perpétuel. Sa capacité à maintenir un contrôle stable face à des perturbations arbitraires le rend utilisable pour des applications en temps réel où les réinitialisations manuelles sont impossibles.

Pourquoi c'est important

PHC résout un problème fondamental dans la simulation humanoïde — les contrôleurs qui échouent de manière permanente après des perturbations inattendues ou des entrées bruitées. Sa capacité de contrôle perpétuel avec récupération automatique après échec la rend pratique pour les applications en temps réel comme les avatars VR et le contrôle humanoïde piloté par vidéo.

Le problème résolu

Les contrôleurs humanoïdes basés sur la physique qui plantent et nécessitent des remises à zéro manuelles après des chutes ou des perturbations inattendues, les rendant impratiques pour les applications en temps réel.

Points clés

• 100 % de taux de réussite sur 11 313 séquences de mouvement AMASS avec le modèle PHC+
• La Progressive Multiplicative Control Policy permet la mise à l'échelle sans oubli catastrophique
• Prend en charge les interfaces vidéo, langage et VR pour le contrôle humanoïde
• Fonctionne avec les morphologies SMPL, SMPLX, Unitree H1 et Unitree G1

Pour qui

• Chercheurs en contrôle humanoïde
• Développeurs VR et d'avatars
• Chercheurs en simulation physique
• Praticiens de l'apprentissage par renforcement

Limites

• Nécessite un GPU NVIDIA avec support IsaacGym
• L'entraînement nécessite le dataset de capture de mouvement AMASS (licence requise)
• Licence de modèle de corps SMPL/SMPLX requise pour un usage commercial
• Configuration complexe en plusieurs étapes avec de nombreuses dépendances