Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

作者: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

生成的人在完成每个子任务的图像，给出手/脚接触点和经过重定向的机器人姿态，用以引导全身轨迹优化完成长时程的人形机器人任务。

为何重要

该流程既不需要针对特定任务的启发式规则，也不需要 3D 人-物交互数据集：其输入是一份高层文本计划和物体的图像。作者报告称，如果没有提取出的接触和构型信息，轨迹优化无法求解任何一项测试任务，因此生成的图像提供了局部优化所欠缺的长时程推理。

问题

人形机器人是动力学不稳定的高维系统，而有用的移动操作任务需要长时程推理，现有规划方法无法扩展到这种程度。轨迹优化是局部的，没有引导时会在这类任务上失败；而人形机器人的遥操作示范很难收集，因为机器人很容易摔倒。

提出的方法

根据一份有序的简短文本提示列表和物体的 RGB-D 图像，一个潜在扩散模型（Flux）生成全身人物完成每个子任务的图像。通过将语义对应与一种基于采样、检查点云重叠度的 SVD 和 ICP 搜索相结合，把手和脚的接触点迁移到 3D 场景中；人物姿态（来自 WHAM）则通过逆运动学重定向为 35-D 的机器人构型。这些关键帧被引入一个基于质心动力学的全身轨迹优化中，既作为代价项，也作为子任务式的热启动。

关键见解

• 生成的 2D 人物图像可以同时提供接触位置和全身构型，两者结合能把局部轨迹优化引向比仅用接触点更好的局部极小值。
• 单靠语义对应并不可靠，因为生成的物体在视角、形状和纹理上与真实物体不同；通过点云重叠度（先 SVD，再 ICP）为候选匹配打分，可以纠正错误的接触点。
• 关键帧同时作为代价项和类似子任务的热启动时效果最好；包含热启动的设置往往收敛更好、穿透更少。
• 在每条提示词后附加一段固定的头发和衣着描述，可以让图像模型画出全身人物，而这正是接触点和姿态提取所必需的。

主要结果

• 在一组最少的碰撞惩罚下，完整流程在两个场景中整条轨迹都无碰撞（S1：通过移动一个箱子并踩上去，从架子上取下一个篮子；S2：把一个箱子搬到手推车上并推走），而仅用接触点的基线在整个过程中都有明显穿透（Fig. 5）。
• 如果没有提取出的接触和构型信息，轨迹优化无法求解任何一项任务；而改为启用所有可能的碰撞约束，则会使其停滞在局部极小值中。
• 在箱子质量为 5.0 kg、初始偏航为 0 rad 的 S1 测试中，使用全部关键帧组成部分时穿透为零；去掉任何一个组成部分，要么无法收敛，要么产生大量穿透。
• 关键帧消融实验覆盖：S1 的箱子质量 {2.5, 5.0} kg 和初始偏航 {0, 0.6, 1.2} rad，S2 的 {2.5, 5.0, 7.5} kg 和 {0, ±0.6, ±1.2} rad。
• 在禁用碰撞惩罚时，几何感知的接触迁移在两个场景中的穿透都明显少于不考虑几何的迁移。
• 刚体变换搜索运行 10 次迭代，实际中最佳变换在 3 次之内即可找到。

局限

• 仅在仿真中验证（MuJoCo，使用 Unitree G1 模型）；作者把在真实人形机器人上运行列为未来工作。
• 假设高层计划（有序的文本提示）已给定，对于放置任务还假设已给定物体的目标 3D 位置和偏航；作者计划用一个使用多模态语言模型的任务规划器来取代这一点。
• 在部分消融情况下，完整关键帧设置略逊于部分设置，作者将其归因于轨迹优化求解器的细节。
• 生成图像的相机内参通过反复试验设定（以图像分辨率作为焦距），并用一种启发式方法把接触点投影到最近的物体表面以避免穿透。
• 结果以两个场景的穿透曲线图给出；论文没有报告成功率或规划时间。

对领域的影响

该论文入围 Humanoids 2025 最佳口头报告论文奖决选，被引用 8 次。论文没有链接代码、数据集或项目页面；它提到了一段补充视频。

摘要

本文利用潜在扩散模型（LDMs）生成逼真 RGB 人-物交互场景的能力，来引导人形机器人的移动操作（loco-manipulation）规划。为此，我们从生成的图像中同时提取接触位置和机器人构型，然后将其用于全身轨迹优化（TO）公式中，为人形机器人生成物理一致的轨迹。我们在仿真中针对不同的长时程移动操作场景验证了完整流程，并对所提出的接触与机器人构型提取流程进行了广泛分析。我们的结果表明，利用从 LDMs 中提取的信息，我们可以生成需要长时程推理的物理一致轨迹。

链接

• arXiv 2504.16843: https://arxiv.org/abs/2504.16843
• DOI 10.1109/Humanoids65713.2025.11203092: https://doi.org/10.1109/Humanoids65713.2025.11203092
• PDF: https://arxiv.org/pdf/2504.16843v1