PHC

Controller perpetuo per umanoidi basato sulla fisica, con recupero dalle cadute, per avatar in tempo reale

Licenza

BSD-3-Clause

Panoramica

PHC (Perpetual Humanoid Control) è un controller per umanoidi basato sulla fisica che ottiene un'imitazione del movimento ad alta fedeltà e un comportamento tollerante ai guasti per avatar simulati in tempo reale e robot umanoidi. Presentato a ICCV 2023, può controllare in modo perpetuo umanoidi simulati senza bisogno di reset, anche in presenza di input rumorosi e cadute impreviste.

L'innovazione chiave è la Progressive Multiplicative Control Policy (PMCP), che assegna dinamicamente nuova capacità alla rete per apprendere sequenze di movimento sempre più difficili. Questo permette di scalare in modo efficiente all'intero database di movimenti AMASS (11.313 sequenze) con un tasso di successo fino al 100%, aggiungendo nuove capacità come il recupero dagli stati di caduta senza dimenticanza catastrofica.

PHC supporta più interfacce di controllo, tra cui il controllo dell'avatar da video tramite webcam, comandi in linguaggio naturale grazie all'integrazione con Motion Diffusion Model e il tracciamento dei controller VR. Funziona con le morfologie umanoidi SMPL, SMPLX (con controllo delle dita), Unitree H1 e Unitree G1.

Il sistema gira su NVIDIA IsaacGym e include l'integrazione con IsaacLab. PHC è diventato un componente di base usato da progetti come PULSE e ASAP per la ricerca sul controllo degli umanoidi.

Sviluppato alla Carnegie Mellon University in collaborazione con NVIDIA.

PHC (Perpetual Humanoid Control) è un controllore per umanoidi basato sulla fisica sviluppato alla Carnegie Mellon University in collaborazione con NVIDIA, presentato a ICCV 2023. Risolve un problema fondamentale della simulazione degli umanoidi: i controllori convenzionali falliscono in modo permanente quando incontrano perturbazioni impreviste o sequenze di movimento difficili, richiedendo reset manuali. PHC invece ottiene un controllo perpetuo: può riprendersi dalle cadute e continuare a funzionare all'infinito senza reset.

L'innovazione chiave è la Progressive Multiplicative Control Policy (PMCP), che assegna progressivamente nuova capacità della rete per gestire movimenti sempre più difficili. Questo permette un addestramento efficiente sull'intero database di movimenti AMASS (11.313 sequenze) con un tasso di successo fino al 100%, aggiungendo capacità di recupero senza dimenticare in modo catastrofico le abilità apprese in precedenza. Quando il controllore cade, può rialzarsi e riprendere a inseguire il movimento obiettivo.

PHC supporta diverse interfacce di controllo, tra cui il controllo di avatar basato su video tramite webcam, comandi in linguaggio naturale tramite l'integrazione con Motion Diffusion Model e il tracciamento dei controller VR per applicazioni immersive. Funziona con SMPL, SMPLX (con controllo a livello delle dita) e morfologie di robot umanoidi come Unitree H1 e G1, con l'integrazione di IsaacLab per i flussi di lavoro di simulazione moderni.

PHC è diventato un elemento fondamentale nell'ecosistema della ricerca sul controllo degli umanoidi, con progetti come PULSE e ASAP che si basano sulle sue capacità di controllo perpetuo. La sua capacità di mantenere un controllo stabile nonostante perturbazioni arbitrarie lo rende pratico per applicazioni in tempo reale in cui i reset manuali sono impossibili.

Perché è importante

PHC risolve un problema fondamentale della simulazione di umanoidi: i controller che falliscono in modo permanente dopo perturbazioni impreviste o input rumorosi. La sua capacità di controllo perpetuo con recupero automatico dagli stati di caduta lo rende pratico per applicazioni in tempo reale come gli avatar VR e il controllo di umanoidi guidato da video.

Il problema che risolve

I controller per umanoidi basati sulla fisica che si bloccano e richiedono reset manuali dopo cadute o perturbazioni impreviste, il che li rende poco pratici per le applicazioni in tempo reale

Punti chiave

• Tasso di successo del 100% su 11.313 sequenze di movimento AMASS con il modello PHC+
• La Progressive Multiplicative Control Policy permette di scalare senza dimenticanza catastrofica
• Supporta interfacce video, linguaggio e VR per il controllo degli umanoidi
• Funziona con le morfologie SMPL, SMPLX, Unitree H1 e Unitree G1

A chi si rivolge

• Ricercatori del controllo degli umanoidi
• Sviluppatori di VR e avatar
• Ricercatori di simulazione fisica
• Professionisti dell'apprendimento per rinforzo

Limiti

• Richiede una GPU NVIDIA con supporto a IsaacGym
• L'addestramento richiede il dataset di motion capture AMASS (serve una licenza)
• Per l'uso commerciale serve la licenza del modello corporeo SMPL/SMPLX
• Configurazione complessa in più passaggi, con molte dipendenze