PHC

Physikbasierter dauerhafter Humanoid-Controller mit Fehlerzustands-Recovery für Echtzeit-Avatare

Lizenz

BSD-3-Clause

Überblick

PHC (Perpetual Humanoid Control) ist ein physikbasierter Humanoid-Controller, der hochpräzise Bewegungsimitation und fehlertolerantes Verhalten für in Echtzeit simulierte Avatare und Humanoid-Roboter erreicht. Auf der ICCV 2023 vorgestellt, kann er simulierte Humanoide dauerhaft steuern, ohne Rücksetzungen zu erfordern, selbst bei verrauschter Eingabe und unerwarteten Stürzen.

Die zentrale Innovation ist die Progressive Multiplicative Control Policy (PMCP), die dynamisch neue Netzwerkkapazität zuweist, um zunehmend schwierige Bewegungssequenzen zu erlernen. Dies ermöglicht effizientes Skalieren auf die gesamte AMASS-Bewegungsdatenbank (11.313 Sequenzen) mit bis zu 100 % Erfolgsrate, während neue Fähigkeiten wie die Wiederherstellung aus Fehlerzuständen ohne katastrophales Vergessen hinzugefügt werden.

PHC unterstützt mehrere Steuerungsschnittstellen, darunter videobasierte Avatar-Steuerung via Webcam, natürlichsprachliche Befehle durch die Integration des Motion Diffusion Model und VR-Controller-Tracking. Es arbeitet mit den Humanoid-Morphologien SMPL, SMPLX (mit Fingersteuerung), Unitree H1 und Unitree G1.

Das System läuft auf NVIDIA IsaacGym und enthält eine IsaacLab-Integration. PHC ist zu einer grundlegenden Komponente geworden, die von Projekten wie PULSE und ASAP für die Forschung zur Humanoid-Steuerung genutzt wird.

Entwickelt an der Carnegie Mellon University in Zusammenarbeit mit NVIDIA.

PHC (Perpetual Humanoid Control) ist ein physikbasierter humanoider Controller, der an der Carnegie Mellon University in Zusammenarbeit mit NVIDIA entwickelt und auf der ICCV 2023 vorgestellt wurde. Er löst ein grundlegendes Problem der humanoiden Simulation: Herkömmliche Controller versagen dauerhaft, wenn sie auf unerwartete Störungen oder schwierige Bewegungssequenzen treffen, und erfordern manuelle Neustarts. PHC hingegen erreicht dauerhafte Kontrolle — er kann sich von Stürzen erholen und unbegrenzt weiterarbeiten, ohne Neustarts zu benötigen.

Die zentrale Innovation ist die Progressive Multiplicative Control Policy (PMCP), die progressiv neue Netzwerkkapazität zuweist, um zunehmend schwierigere Bewegungen zu bewältigen. Dies ermöglicht ein effizientes Training auf der gesamten AMASS-Bewegungsdatenbank (11.313 Sequenzen) mit bis zu 100 % Erfolgsrate, wobei Wiederherstellungsfähigkeiten hinzugefügt werden, ohne dass zuvor erlernte Fähigkeiten katastrophal vergessen werden. Wenn der Controller fällt, kann er wieder aufstehen und die Verfolgung der Zielbewegung fortsetzen.

PHC unterstützt mehrere Steuerungsschnittstellen, darunter videobasierte Avatar-Steuerung über Webcam, natürlichsprachliche Befehle über die Integration des Motion Diffusion Model und VR-Controller-Tracking für immersive Anwendungen. Es funktioniert mit SMPL, SMPLX (mit Steuerung auf Fingerebene) und humanoiden Robotermorphologien einschließlich Unitree H1 und G1, mit IsaacLab-Integration für moderne Simulations-Workflows.

PHC ist zu einem grundlegenden Baustein im Forschungsökosystem für humanoide Steuerung geworden, wobei Projekte wie PULSE und ASAP auf seinen Fähigkeiten zur dauerhaften Kontrolle aufbauen. Seine Fähigkeit, stabile Kontrolle bei beliebigen Störungen aufrechtzuerhalten, macht ihn praxistauglich für Echtzeitanwendungen, bei denen manuelle Neustarts unmöglich sind.

Warum es wichtig ist

PHC löst ein grundlegendes Problem in der Humanoid-Simulation -- Controller, die nach unerwarteten Störungen oder verrauschter Eingabe dauerhaft versagen. Die permanente Steuerfähigkeit mit automatischer Fehlerzustands-Recovery macht sie praktisch für Echtzeit-Anwendungen wie VR-Avatare und videogesteuerte Humanoid-Steuerung.

Welches Problem es löst

Physikbasierte Humanoid-Controller, die nach Stürzen oder unerwarteten Störungen abstürzen und manuelle Rücksetzungen erfordern, was sie für Echtzeit-Anwendungen unpraktisch macht

Wichtigste Punkte

• 100% Erfolgsrate auf 11.313 AMASS-Bewegungssequenzen mit PHC+-Modell
• Progressive Multiplicative Control Policy ermöglicht Skalierung ohne katastrophales Vergessen
• Unterstützt Video-, Sprach- und VR-Schnittstellen für Humanoid-Steuerung
• Funktioniert mit SMPL, SMPLX, Unitree H1 und Unitree G1-Morphologien

Für wen

• Humanoid-Steuerungs-Forscher
• VR- und Avatar-Entwickler
• Physik-Simulations-Forscher
• Reinforcement-Learning-Praktiker

Einschränkungen

• Erfordert NVIDIA-GPU mit IsaacGym-Unterstützung
• Training erfordert AMASS-Motion-Capture-Datensatz (Lizenz erforderlich)
• SMPL/SMPLX-Körpermodell-Lizenz für kommerzielle Nutzung erforderlich
• Komplexe mehrstufige Einrichtung mit vielen Abhängigkeiten