The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

著者: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

MultiGen は物理シミュレータとファインチューニングした動画から音声への生成モデルを組み合わせて視聴覚の注ぎ動作データを作成し、実ロボットのデータなしで実際の液体をゼロショットで注ぐポリシーを学習する。

重要な理由

シミュレータでうまくモデル化できない感覚でロボットを学習させる方法を示している。その信号の物理をシミュレートするのではなく、実世界の動画から学習するのである。液体が隠れていたり容器が透明だったりする注ぎ動作では、生成した音声が、ロボットのデモンストレーションを一切収集せずに実世界での精度を向上させる。

課題

マルチモーダルなロボットポリシーには、同期した動画、音声、触覚、行動のデータが必要であり、これを大規模に収集するには精密なキャリブレーション、高価なハードウェア、人手が必要になる。シミュレーションは視覚にはうまく機能するが、音は複雑な波動のダイナミクスと材料間の相互作用に依存するため、物理ベースの音響シミュレーションは大規模なロボット学習には高価すぎる。その結果、Sim-to-Real 転移は主に視覚ベースのタスクで成功してきた。

提案手法

MultiGen は物理シミュレータと並行して生成モデルを実行する。RoboVerse がドメインランダム化のもとで動作計画された注ぎ動作の軌跡を生成し、EPIC-Kitchens と YouTube のクロールから集めた 1,031 本の実際の注ぎ動作クリップでファインチューニングした MMAudio の動画から音声へのモデルが、受け側の容器に向けた仮想カメラの映像から音声を生成する。シミュレーション動画と自然な動画のギャップを埋めるため、SAMv2 のセグメンテーションマスクを追加の条件として注入する。その後、この合成視聴覚データのみで拡散ポリシーを学習し、実機アームにゼロショットで展開する。

主な知見

• シミュレータがレンダリングする内容を条件とする限り、生成モデルはシミュレータに物理モデルのない感覚ストリームを追加できる。
• 既製の MMAudio では不十分だった。その学習データには注ぐ音が少なく、低周波の Foley 音が多いため、厳選した実際の注ぐ動作のクリップでファインチューニングする必要があった。
• 音声モデルを RGB フレームに加えて SAMv2 のセグメンテーションマスクでも条件付けることで、シミュレーション動画と実動画の間の視覚的ギャップに対してより頑健になる。
• 受け側の容器の正面に専用の仮想カメラを置くことで、タスク用カメラが遮蔽されていても、音声モデルの入力を実世界のファインチューニング用動画と同じ分布内に保てる。
• 音声は視覚が最も弱いところで最も役立つ。不透明な容器を用いたタスクの方が、透明な容器のタスクよりも改善幅が大きかった。

主な結果

• 学習に実ロボットの感覚データや行動データを一切使わずに、平均 NMAE 0.46 でゼロショットの実世界の注ぎ動作を達成した。
• 生成音声を加えることで、視覚のみの拡散ポリシーと比べて NMAE が平均 23.3% 減少した。
• 不透明な容器のタスクでは NMAE が平均 29.4%、透明な容器のタスクでは 16.2% 減少した。
• 視覚と音声を併用したポリシーは、8 つのテスト条件（不透明 4 つ、透明 4 つ）のすべてで視覚のみより NMAE が低く、各条件で 12 回のゼロショット試行を行った。
• 10 件の実デモンストレーション（各 1,000 サンプル）に MANIWAV 方式のノイズ拡張を施した場合と比べて、MultiGen の音声はより多様（対数スペクトル距離）かつより忠実（信号対歪み比）であり、それで学習したポリシーはデータセットの規模に応じてより良くスケールした。

制限事項

• シミュレーションと実環境のシーンをおおまかに一致させる必要があり（カメラの配置、正しいロボットの身体構成）、依然としてある程度の手作業による設定が必要である（著者）。
• 極端な容器形状への汎化は限定的である。大きな容器や不規則な容器では、液体の揺れなどモデル化されていないダイナミクスが生じる（著者）。
• ポリシーは乱雑なシーンでの衝突回避を扱えない。障害物を考慮した計画や追加の知覚が必要になる（著者）。
• 実証されたのは注ぎ動作という単一のタスクのみであり、生成されたモダリティは音声のみである。
• シミュレーション軌跡は、学習されたものや人間が誘導したデモンストレーションではなく、4 段階の離散的な注ぎ量を持つスクリプト化された動作プランナーから得られている。

分野への影響

CoRL 2025 最優秀論文賞 / 最優秀学生論文賞の最終候補に選ばれ、これまでの被引用数は 10。ライセンスされた arXiv 版（v1、タイトルは MultiGen）には、コード、データ、プロジェクトページへのリンクはない。

概要

ロボットが実世界で効果的に行動するには、複数の感覚モダリティを統合しなければならない。しかし、そうしたマルチモーダルなポリシーを大規模に学習することは依然として難しい。シミュレーションは有望な解決策を提供するが、視覚は高忠実度のシミュレータの恩恵を受けてきた一方で、他のモダリティ（例えば音）はシミュレーションが極めて難しいことで知られている。その結果、Sim-to-Real 転移は主に視覚ベースのタスクで成功しており、マルチモーダルな転移はほとんど実現されていない。本研究では、大規模な生成モデルを従来の物理シミュレータに統合し、多感覚シミュレーションを可能にするフレームワーク MultiGen を導入することで、これらの課題に取り組む。本質的にマルチモーダルなフィードバックに依存する動的タスクであるロボットによる注ぎ動作で、このフレームワークを実証する。シミュレーション動画を条件としてリアルな音声を合成することで、我々の手法は実ロボットのデータを一切用いずに、豊富な視聴覚軌跡で学習することを可能にする。新しい容器や液体を用いた実世界の注ぎ動作への効果的なゼロショット転移を示し、モデル化が難しいモダリティのシミュレーションと、マルチモーダルな Sim-to-Real ギャップの解消の両面における生成モデリングの可能性を浮き彫りにする。

リンク

• arXiv 2507.02864: https://arxiv.org/abs/2507.02864
• PDF: https://arxiv.org/pdf/2507.02864v1