The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio
作者: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
MultiGen 將物理模擬器與經過微調的影片轉音訊模型配對，產生視聽倒水資料，訓練出的策略不需任何真實機器人資料，就能以零樣本方式倒出真實液體。
為何重要
它示範了一種讓機器人學習模擬器難以妥善建模之感官的方式：從真實世界影片中學習這個訊號，而不是模擬其物理過程。在倒水任務中，當液體被遮擋或容器是透明的時候，生成的音訊無需收集任何機器人示範，就能提升真實世界中的精度。
問題
多模態機器人策略需要同步的影片、音訊、觸覺與動作資料，而大規模收集這些資料需要精確校正、昂貴的硬體與大量人力。模擬對視覺很有效，但聲音取決於複雜的波動力學與材料交互作用，因此以物理為基礎的音訊模擬對大規模機器人學習而言成本過高。結果是，模擬到現實的轉移主要只在以視覺為基礎的任務中成功。
提出的方法
MultiGen 在物理模擬器旁執行生成模型：RoboVerse 在領域隨機化下產生經運動規劃的倒水軌跡，而在 EPIC-Kitchens 與 YouTube 爬取的 1,031 段真實倒水片段上微調過的 MMAudio 影片轉音訊模型，則根據面向承接容器的虛擬攝影機畫面產生音訊。SAMv2 分割遮罩被加入作為額外條件，以縮小模擬影片與自然影片之間的落差。接著只以這些合成的視聽資料訓練擴散策略，並以零樣本方式部署到實體機器手臂上。
關鍵見解
- 只要以模擬器所渲染的內容為條件，生成模型就能補上一條模擬器沒有物理模型的感官資料流。
- 現成的 MMAudio 並不足夠：其訓練資料中倒水聲很少，低頻的 Foley 擬音卻很多，因此必須在精選的真實倒水片段上進行微調。
- 除了 RGB 影格之外，再以 SAMv2 分割遮罩作為音訊模型的條件，能讓它對模擬影片與真實影片之間的視覺落差更為穩健。
- 在承接容器前方設置一台專用的虛擬攝影機，能讓音訊模型的輸入與其真實世界微調影片維持在同一分布內，即使任務攝影機被遮擋也一樣。
- 視覺最弱的地方，音訊的幫助最大：使用不透明容器的任務，獲益多於使用透明容器的任務。
主要結果
- 零樣本的真實世界倒水平均 NMAE 為 0.46，訓練中未使用任何真實機器人的感官或動作資料。
- 與僅用視覺的擴散策略相比，加入生成音訊使 NMAE 平均降低 23.3%。
- 不透明容器任務的 NMAE 平均降低 29.4%，透明容器任務則降低 16.2%。
- 在全部八種測試條件（四種不透明、四種透明）中，視覺加音訊策略的 NMAE 都低於僅用視覺的策略，每種條件各進行 12 次零樣本試驗。
- 與對 10 筆真實示範（每筆 1,000 個樣本）進行 MANIWAV 式雜訊增強相比，MultiGen 音訊更多樣（對數頻譜距離）也更忠實（訊號失真比），以其訓練的策略隨資料集規模擴展的效果也更好。
限制
- 需要模擬場景與真實場景大致對齊（攝影機擺放位置、正確的機器人本體），這仍需要一些人工設定（作者）。
- 對極端容器幾何形狀的泛化有限；大型或不規則的容器會造成未建模的動態，例如液體晃動（作者）。
- 策略無法處理雜亂場景中的避碰；需要能感知障礙物的規劃或額外的感知（作者）。
- 只在倒水這單一任務上展示，且音訊是唯一被生成的模態。
- 模擬軌跡來自具有四種離散倒水量的腳本化運動規劃器，而不是來自學習而得或由人類引導的示範。
對領域的影響
入圍 CoRL 2025 最佳論文 / 最佳學生論文獎決選，目前已被引用 10 次。取得授權的 arXiv 版本（v1，標題為 MultiGen）未提供程式碼、資料或專案頁面的連結。
摘要
機器人必須整合多種感官模態，才能在真實世界中有效行動。然而，大規模學習這類多模態策略仍然充滿挑戰。模擬提供了可行的解決方案，但視覺雖受惠於高擬真度的模擬器，其他模態（例如聲音）卻是出了名地難以模擬。因此，模擬到現實的轉移主要是在以視覺為基礎的任務中成功，多模態轉移在很大程度上仍未實現。在這項研究中，我們提出 MultiGen 來因應這些挑戰，這是一個將大規模生成模型整合進傳統物理模擬器、進而實現多感官模擬的框架。我們在機器人倒水這項動態任務上展示此框架，這項任務本質上就仰賴多模態回饋。透過以模擬影片為條件合成逼真的音訊，我們的方法能在豐富的視聽軌跡上進行訓練，完全不需要任何真實機器人資料。我們展示了零樣本轉移到使用新容器與新液體的真實世界倒水任務，並且效果良好，突顯了生成式建模在模擬難以建模的模態、以及縮小多模態模擬到現實落差方面的潛力。
連結
- arXiv 2507.02864: https://arxiv.org/abs/2507.02864
- PDF: https://arxiv.org/pdf/2507.02864v1