Visual Imitation Enables Contextual Humanoid Control

作者: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

VideoMimic 从手机视频中重建人和场景，将动作重定向到 Unitree G1，并训练出一个能根据地形爬楼梯、坐下或站起的单一策略。

为何重要

部署后的策略只需要本体感知、LiDAR 高度图和摇杆方向，并根据地形而非任务标签在行走、爬楼梯、坐下和站起之间进行选择。训练参考来自随手录制的智能手机视频，而不是动作捕捉场地；作者表示，据他们所知，这是首次在真实世界中部署从单目人类视频学习得到的、具备上下文感知能力的人形机器人策略。

问题

教人形机器人掌握依赖上下文的全身技能，例如爬楼梯或坐到椅子上，通常需要为每种行为和环境人工调节奖励或采集动作捕捉数据。运动模仿方法通常假设地面平坦或使用配备仪器的捕捉场地，而单目重建方法往往能恢复人体，却无法以度量尺度恢复周围场景。

提出的方法

VideoMimic 从单目视频中逐帧估计 SMPL 人体姿态和 2D 关键点，以及场景点云（MegaSaM 或 MonST3R），然后以 SMPL 人体身高先验作为度量参照，联合优化人体轨迹和场景尺度；场景用 GeoCalib 进行重力对齐，并用 NKSR 生成网格。动作在关节限位、接触和碰撞代价的约束下重定向到 Unitree G1。策略在 Isaac Gym 中分四个阶段训练：在 LAFAN 动作捕捉数据上进行 RL 预训练；使用 11 × 11 高度图进行以场景为条件的跟踪；通过 DAgger 蒸馏为只以根节点方向为条件的策略；以及用该精简观测集进行 PPO 微调。

关键见解

• 以 SMPL 人体的度量身高为参照，联合优化人体运动和场景尺度，可以解决单目 SfM 点云的尺度歧义。
• 在跟踪含噪声的视频参考之前，需要先在动作捕捉数据上进行 RL 预训练；没有这一步，策略几乎学不到东西（Fig. 6），部分原因是重建出的起始姿态可能不稳定或与场景相交。
• 先蒸馏为一个只看根节点方向的策略，再以相同的精简输入重新运行 RL，能在蒸馏策略的基础上进一步改进，并允许使用质量较低的参考片段。
• 对硬件部署至关重要的有两点：相对参考动作放宽回合终止容差，以及训练中加入逼真的物理扰动。
• 在分阶段的真实世界测试中，以根节点位置为条件比以根节点速度为条件效果更好。

主要结果

• 在 SLOPER4D 子集上的重建（Table 2）：WA-MPJPE 为 112.13，对比 149.48（TRAM）和 189.29（WHAM）；W-MPJPE 为 696.62，对比 954.90 和 1148.49；Chamfer 距离为 0.75，TRAM 为 10.66（WHAM 不恢复场景）。
• 编译后，人-场景联合优化在 NVIDIA A100 上处理一段 300 帧序列约需 20 ms；对每段 300 帧的片段，重定向约需 10 s，重力对齐加网格化约需 60 s。
• 训练集由 123 段自行录制的智能手机片段组成：39 段上楼梯、36 段下楼梯、13 段上下皆有、7 段站起、12 段坐下、5 段坐下并站起、11 段穿越地形；10 段平地行走的 LAFAN 片段占采样的 10%。
• 一个在 23-DoF Unitree G1 机载以 50 Hz 运行的策略，能上下室内外楼梯，穿越陡峭的土坡和杂乱植被，并能在椅子和长凳上坐下及站起。
• 在下楼梯时脚底打滑后，策略通过短暂单腿跳跃恢复，然后回到正常步态。

局限

• 单目 4D 重建很脆弱：MegaSaM 的相机漂移会产生重复的“幽灵”表面，人体点会被融合进静态场景，低纹理图像会失败，NKSR 还可能把窄的楼梯踏板过度平滑，因此这类视频会被丢弃。
• 重定向假设每个参考姿态都能被调整为机器人可行的姿态；在杂乱场景中，相互冲突的接触代价和碰撞代价可能使求解器陷入较差的局部极小值。
• 11 × 11 的 LiDAR 高度图太粗糙，无法支持精确接触、操作或应对悬垂障碍物。
• 场景被建模为单一刚性网格，因此无法处理铰接或可变形物体。
• 由于只有 123 段片段，策略有时依赖恢复行为，导致动作不流畅；真实机器人结果以定性方式展示，没有报告成功率。

对领域的影响

该论文获得 CoRL 2025 最佳学生论文奖，被引用 142 次。作者表示将发布重建代码、策略训练框架以及包含 123 段视频的数据集；结果展示在 videomimic.net 上。

摘要

我们如何利用周围环境的上下文，教人形机器人爬楼梯和坐椅子？可以说，最简单的方法就是直接示范给它们看——随手拍一段人体运动视频，然后喂给人形机器人。我们提出 VIDEOMIMIC，一个从真实到仿真再到真实的流程，它挖掘日常视频，联合重建人和环境，并为人形机器人生成执行相应技能的全身控制策略。我们在真实人形机器人上展示了该流程的结果，表现出鲁棒、可重复的上下文相关控制，例如上下楼梯、在椅子和长凳上坐下和站起，以及其他动态全身技能——这一切都来自单一策略，以环境和全局根节点指令为条件。VIDEOMIMIC 为教人形机器人在多样的真实世界环境中运作提供了一条可扩展的途径。

链接

• arXiv 2505.03729: https://arxiv.org/abs/2505.03729
• DOI 10.48550/arXiv.2505.03729: https://doi.org/10.48550/arXiv.2505.03729
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/allshire25a/allshire25a.pdf
• 项目主页: https://videomimic.net/