The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

作者: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

MultiGen 将物理仿真器与经过微调的视频到音频模型配对，生成视听倾倒数据，训练出的策略无需任何真实机器人数据即可以零样本方式倾倒真实液体。

为何重要

它展示了一种用仿真器难以良好建模的感官来训练机器人的方法：从真实世界视频中学习该信号，而不是对其物理过程进行仿真。在倾倒任务中，当液体被遮挡或容器透明时，生成的音频无需收集任何机器人示范即可提高真实世界的精度。

问题

多模态机器人策略需要同步的视频、音频、触觉和动作数据，而大规模收集这些数据需要精确标定、昂贵的硬件和大量人力。仿真对视觉很有效，但声音取决于复杂的波动力学和材料相互作用，因此基于物理的音频仿真对于大规模机器人学习来说成本过高。因此，从仿真到现实的迁移主要在基于视觉的任务中取得了成功。

提出的方法

MultiGen 在物理仿真器旁运行一个生成模型：RoboVerse 在域随机化下生成经过运动规划的倾倒轨迹，而在来自 EPIC-Kitchens 和 YouTube 爬取的 1,031 个真实倾倒片段上微调的 MMAudio 视频到音频模型，则根据朝向接收容器的虚拟相机画面生成音频。SAMv2 分割掩码作为额外条件注入，以弥合仿真视频与自然视频之间的差距。随后仅用这些合成的视听数据训练扩散策略，并以零样本方式部署到真实机械臂上。

关键见解

• 只要以仿真器渲染的内容为条件，生成模型就能补充一条仿真器没有物理模型的感官数据流。
• 现成的 MMAudio 并不够用：其训练数据中倾倒声音很少，而低频 Foley 拟音很多，因此需要在精选的真实倾倒片段上进行微调。
• 除 RGB 帧外，再以 SAMv2 分割掩码作为音频模型的条件，可使其对仿真视频与真实视频之间的视觉差距更具鲁棒性。
• 在接收容器前方设置一个专用虚拟相机，可使音频模型的输入与其真实世界微调视频保持同分布，即使任务相机被遮挡也是如此。
• 音频在视觉最弱的地方帮助最大：使用不透明容器的任务比使用透明容器的任务收益更大。

主要结果

• 零样本真实世界倾倒的平均 NMAE 为 0.46，训练中未使用任何真实机器人的感官或动作数据。
• 与仅用视觉的扩散策略相比，加入生成的音频使 NMAE 平均降低 23.3%。
• 不透明容器任务的 NMAE 平均降低 29.4%，透明容器任务降低 16.2%。
• 在全部八种测试条件（四种不透明、四种透明）下，视觉加音频策略的 NMAE 都低于仅视觉策略，每种条件均进行 12 次零样本试验。
• 与对 10 条真实示范（每条 1,000 个样本）进行 MANIWAV 式噪声增强相比，MultiGen 音频更具多样性（对数谱距离）且更保真（信号失真比），用其训练的策略随数据集规模扩展的效果也更好。

局限

• 需要仿真场景与真实场景大致对齐（相机位置、正确的机器人本体），这仍需要一些手动设置（作者）。
• 对极端容器几何形状的泛化有限；大型或不规则容器会带来未建模的动力学，例如晃荡（作者）。
• 策略无法在杂乱场景中处理避碰；需要具备障碍物感知的规划或额外的感知（作者）。
• 仅在倾倒这一单一任务上进行了展示，且音频是唯一生成的模态。
• 仿真轨迹来自一个具有四种离散倾倒量的脚本化运动规划器，而非来自学习得到的或人类引导的示范。

对领域的影响

入围 CoRL 2025 最佳论文 / 最佳学生论文奖决选，目前已被引用 10 次。获得许可的 arXiv 版本（v1，标题为 MultiGen）未提供代码、数据或项目页面的链接。

摘要

机器人必须整合多种感官模态，才能在真实世界中有效行动。然而，大规模学习这样的多模态策略仍然具有挑战性。仿真提供了一种可行的解决方案，但视觉受益于高保真仿真器，而其他模态（例如声音）则出了名地难以仿真。因此，从仿真到现实的迁移主要在基于视觉的任务中取得了成功，多模态迁移在很大程度上仍未实现。在这项工作中，我们通过引入 MultiGen 来应对这些挑战，这是一个将大规模生成模型整合进传统物理仿真器、从而实现多感官仿真的框架。我们在机器人倾倒这一动态任务上展示了该框架，该任务本身就依赖多模态反馈。通过以仿真视频为条件合成逼真的音频，我们的方法能够在丰富的视听轨迹上进行训练——无需任何真实机器人数据。我们展示了向使用新容器和新液体的真实世界倾倒任务的有效零样本迁移，凸显了生成式建模在仿真难以建模的模态以及弥合多模态仿真到现实差距方面的潜力。

链接

• arXiv 2507.02864: https://arxiv.org/abs/2507.02864
• PDF: https://arxiv.org/pdf/2507.02864v1