GRAIL: Generating Humanoid Loco-Manipulation from World Models
作者: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026
为何重要
人形机器人需要全身行走、下跪、坐下和摆弄物体的演示，而如今这些演示来自对机器人的遥操作或动作捕捉，两者每遇到一个新物体或一段新楼梯，都需要实体场景和人员。GRAIL 用一条在部署前都留在计算机里的流水线取而代之：输入一个 3D 物体和场景，输出机器人可用的轨迹，每条序列在一块 GPU 上生成约需 14 分钟。作者表明，仅凭这些数据就足够：只用它训练的视觉策略能在真实的 Unitree G1 上拾取物体、爬楼梯。代码、文档、一个包含超过 22,000 条 G1 动作的数据集以及跟踪检查点均已公开，使其成为构建人形机器人合成数据的一个可用参考。代码采用 NVIDIA License，数据集采用 CC BY-NC 4.0，因此两者都只能用于研究或评估，不能用于商业产品。
问题
人形机器人移动操作策略需要覆盖大量物体、全身动作和地形形状的演示，而且每一条都必须在物理上合理、能被机器人执行。遥操作和动作捕捉能给出好的演示，但难以扩展：每个新物体或新地形布局都需要操作员、佩戴设备的演员和重新搭建的实体场景。从普通视频重建机器人轨迹可以带来广度，但相机、尺度、物体形状、身体形状、接触以及世界坐标下的运动都必须从单一视角猜出来。此前把生成视频当作人-物交互来源的流水线，同样把这些量留到生成之后再推断，因此它们的结果常常不是机器人能够跟踪的东西。
提出的方法
GRAIL 在生成任何内容之前先确定场景。把一个物体资产放进 Infinigen 房间，旁边是一个身体比例按 Unitree G1 拟合的人类角色，用物理仿真让物体稳定落位，再在 Blender 中以已知相机参数渲染。GPT-4o 根据这一帧写出交互提示词，作为世界模型使用的 Kling 图生视频模型生成一段固定机位的视频，展示人摆弄该物体。由于几何、尺度、相机、场景深度和身体形状都已知，重建受到约束：GENMO 在固定体型下估计身体姿态，WiLoR 细化双手，经过微调的 FoundationPose 从已知的初始位姿开始跟踪物体，再对身体和物体做联合优化，利用关键点、投影、深度和接触损失消除悬空接触、穿插和深度漂移。物体跟踪与 SAM2 掩码不一致的序列会被丢弃。GMR 把动作重定向到 G1，两个基于 SONIC 全身控制器的通用任务跟踪器在 Isaac Lab 中把参考动作转为机器人动作：一个是物体感知适配器，调整 SONIC 的潜在 token 并控制双手开合；另一个是场景感知跟踪器，把 SONIC 与一个读取机器人周围地面高度图的网络一起微调，用于路缘、斜坡、楼梯和椅子。面向真实机器人时，这些跟踪器被蒸馏为第一人称 RGB 策略，并用领域随机化训练。
关键见解
- 在生成视频之前就掌握场景，才让重建变得可用：物体几何、相机、公制尺度、场景深度和按机器人比例构建的身体都成了输入，而不是未知量
- 生成人类视频更合适：当前视频模型对人类操作的先验比对机器人更强，而且人体和手部重建工具也更成熟
- 预先按机器人比例拟合的角色减少了把动作重定向到 G1 时的失配，使手-物接触和身体-场景接触在重定向后得以保留
- 每一项重建损失对机器人都重要，而不只是对画面：去掉投影、深度或接触项，下游跟踪成功率会从 81.4% 降到 41.6% 至 53.3% 之间
- 仅有精确的身体跟踪不足以完成操作：原版 SONIC 的身体跟踪最好，成功率却最低，物体感知潜在适配器补上了对物体的处理
- 按任务族训练一个跟踪器、覆盖 2,000 到 4,000 条动作，可把成本降到每条动作约 0.5 到 0.9 分钟的训练时间，新动作可以从现有策略热启动微调后加入
主要结果
- 在 20 个共享物体上，GRAIL 生成的交互在物理仿真中的跟踪成功率为 88.9%，而 DAViD 为 24.0%，HOIDiff 为 15.8%，CHOIS 为 10.5%；其接触距离（0.008）和穿插率（0.90%）均为最低
- 在一项有 30 名参与者的用户研究中，GRAIL 在 74.7% 的情况下被选为最恰当的物体用法，在 70.9% 的情况下被选为物理上最合理的动作，理论上限为 75%
- 在涵盖 43 个物体、124 条动作的基准上，该通用任务跟踪器的操作成功率达到 81.4%，HDMI 为 48.5%，ResMimic 为 49.2%；去掉 SONIC 后降至 45.0%
- 该流水线基于 1,000 个物体资产和 1,000 个程序化地形生成了超过 20,000 条序列，在一块 NVIDIA A100 上每条 5 秒序列约需 14 分钟
- 在真实的 Unitree G1 上，仅用 GRAIL 数据训练的第一人称 RGB 拾取策略，在五个见过的物体上成功率为 84%，在五个未见过的物体上为 80%，每个物体各 10 次试验
- 仅用 GRAIL 地形序列训练的爬楼梯策略，在真实世界中的成功率达到 90%
局限
- 代码采用 NVIDIA License，只允许用于研究或评估（NVIDIA 自身除外）；公开的数据集采用 CC BY-NC 4.0，部分随附的权重和资产保留各自的第三方许可，因此其中任何部分都不能用于商业产品
- 默认情况下，视频生成调用付费的 Kling API，提示词来自 OpenAI API（GPT-4o），因此生成新数据需要外部服务的密钥；2026 年八月新增了基于 MiniMax-H3 的本地选项
- 流水线需要每个物体都有 3D 资产和可用于仿真器的场景，视频模型还必须按要求演绎交互；在严重遮挡、快速运动或物体外观在帧间变化时重建质量会下降，过滤步骤会丢弃相当一部分序列
- 训练开销很大：每个跟踪策略在 64 块 NVIDIA L40 GPU 上运行 30,000 次 PPO 迭代，约 30 小时，遇到新的动作族仍需训练或微调
- 真实机器人结果只涵盖一台机器人上的两项任务，即从桌面拾取和爬楼梯，每个物体 10 次试验；全身操作和坐下只在仿真中展示，双手只用开或合的二值抓取
- 公开的数据集涵盖拾取、坐下和地形；全身操作数据仍列在待办事项中，快速上手演示脚本也尚未发布
- 所有结果均由作者报告；截至撰写时，尚无独立复现发表
对领域的影响
在机器人领域，视频生成模型过去主要用于想象结果或提供视觉预训练。GRAIL 把它们当作人形机器人物理演示的来源，并表明让这一点奏效的关键是先确定 3D 场景、再在其中重建，而不是从不受约束的视频中读出 3D 动作。真实机器人上的拾取和爬楼梯完全只用这些数据训练，这说明来自世界模型的合成数据可以与遥操作和动作捕捉并列，成为扩展人形机器人数据集的一种途径；它公开的数据集也为其他团队提供了一大批关于地形和拾取的 G1 参考动作，可用来训练跟踪器。
摘要
扩展人形机器人的移动操作需要覆盖多样物体、全身动作和场景几何的、与机器人兼容的演示，但遥操作和动作捕捉难以扩展，因为每次采集都依赖实体布置、佩戴设备的演员和机器人操作。我们提出 GRAIL，一条在部署之前始终完全虚拟的数字生成流水线：它把视频世界模型锚定在 3D 资产和可直接用于仿真器的场景中，无需重建实体环境或遥操作机器人即可合成交互。GRAIL 不去重建不受控的真实场景视频，而是从完全指定的 3D 配置出发，其中物体几何、相机参数、公制尺度、环境深度以及按机器人比例构建的角色在视频生成之前就已知，并在重建时复用。这种特权设置更好地约束了 4D 恢复，使基于模型的物体跟踪、人体动作估计和交互感知优化能够重建公制尺度的 4D 人-物交互（HOI）轨迹，同时减少深度歧义和形态失配。我们把恢复出的动作重定向到人形机器人上，并训练互补的通用任务跟踪器：用于操作的物体感知潜在适配器，以及用于地形通行的场景感知跟踪器。GRAIL 生成了超过 20,000 条序列，涵盖拾取、全身操作、坐下和地形通行。仅使用 GRAIL 生成的数据，我们通过仿真到现实流水线训练第一人称视觉策略，并部署到 Unitree G1 人形机器人上，在真实世界中拾取多样物体的成功率达到 84%，爬楼梯成功率达到 90%。
链接
- arXiv 2606.05160: https://arxiv.org/abs/2606.05160
- PDF: https://arxiv.org/pdf/2606.05160
- 代码: https://github.com/NVlabs/GRAIL
- 项目主页: https://research.nvidia.com/labs/dair/grail/
- 数据集: https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL