Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

PHC

基于物理的永久人形控制器,具备故障状态恢复能力,用于实时化身

许可证

BSD-3-Clause

概述

PHC(永久人形控制)是一种基于物理的人形控制器,可为实时仿真化身和人形机器人实现高保真动作模仿和容错行为。在 ICCV 2023 上发表,它可以永久控制仿真人形,无需复位,即使在存在噪声输入和意外跌倒的情况下也能如此。

关键创新是渐进式乘法控制策略(PMCP),该策略动态分配新的网络容量来学习越来越困难的运动序列。这允许高效扩展到完整的 AMASS 运动数据库(11313 个序列),成功率高达 100%,同时添加故障状态恢复等新功能而不会发生灾难性遗忘。

PHC 支持多种控制接口,包括通过摄像头进行基于视频的化身控制、通过运动扩散模型集成实现自然语言指令,以及 VR 控制器追踪。它适用于 SMPL、SMPLX(含手指控制)、Unitree H1 和 Unitree G1 人形形态。

系统在 NVIDIA IsaacGym 上运行,并包含 IsaacLab 集成。PHC 已成为 PULSE 和 ASAP 等项目用于人形控制研究的基础组件。

由卡内基梅隆大学与 NVIDIA 合作开发。

PHC(Perpetual Humanoid Control)是由Carnegie Mellon University与NVIDIA合作开发的基于物理的人形控制器,发表于ICCV 2023。它解决了人形仿真中的一个根本问题:传统控制器在遇到意外扰动或困难运动序列时会永久性失效,需要手动重置。而PHC实现了持续控制——它可以从跌倒中恢复并无限期继续运行,无需重置。

其关键创新是渐进式乘性控制策略(Progressive Multiplicative Control Policy, PMCP),它通过逐步分配新的网络容量来处理越来越困难的运动。这使得在完整的AMASS运动数据库(11,313个序列)上高效训练成为可能,成功率高达100%,同时在不发生灾难性遗忘的情况下增加恢复能力。当控制器跌倒时,它可以重新站起来并继续跟踪目标运动。

PHC支持多种控制接口,包括通过网络摄像头的基于视频的虚拟化身控制、通过Motion Diffusion Model集成的自然语言命令,以及用于沉浸式应用的VR控制器跟踪。它兼容SMPL、SMPLX(支持手指级别控制)和人形机器人形态,包括Unitree H1和G1,并集成了IsaacLab以支持现代仿真工作流。

PHC已成为人形控制研究生态系统中的基础构建模块,PULSE和ASAP等项目都构建在其持续控制能力之上。其在任意扰动下保持稳定控制的能力使其适用于无法进行手动重置的实时应用场景。

为何重要

PHC 解决了人形仿真中的根本问题——在意外扰动或噪声输入后永久失败的控制器。其具有自动故障状态恢复能力的永久控制功能使其在 VR 化身和视频驱动人形控制等实时应用中具有实用性。

解决的问题

基于物理的人形控制器在跌倒或意外扰动后崩溃并需要手动复位,使其在实时应用中不切实际

要点

  • PHC+ 模型在 11313 个 AMASS 运动序列上达到 100% 成功率
  • 渐进式乘法控制策略支持在不发生灾难性遗忘的情况下扩展
  • 支持视频、语言和 VR 接口用于人形控制
  • 适用于 SMPL、SMPLX、Unitree H1 和 Unitree G1 形态

适用人群

  • 人形控制研究人员
  • VR 和化身开发者
  • 物理仿真研究人员
  • 强化学习从业者

局限

  • 需要支持 IsaacGym 的 NVIDIA GPU
  • 训练需要 AMASS 运动捕捉数据集(需要许可证)
  • SMPL/SMPLX 身体模型许可证商业使用需要授权
  • 复杂的多步骤设置,依赖项众多

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。