The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

Autoren: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

MultiGen kombiniert einen Physiksimulator mit einem feinabgestimmten Video-zu-Audio-Modell, um audiovisuelle Eingießdaten zu erzeugen, und trainiert Policies, die reale Flüssigkeiten zero-shot und ohne reale Roboterdaten eingießen.

Warum es wichtig ist

Es zeigt einen Weg, Roboter auf Sinnen zu trainieren, die Simulatoren nicht gut modellieren können: das Signal aus realen Videos lernen, statt seine Physik zu simulieren. Beim Eingießen, wo die Flüssigkeit verdeckt oder der Behälter durchsichtig ist, verbessert das erzeugte Audio die Genauigkeit in der realen Welt, ohne dass Roboterdemonstrationen gesammelt werden.

Problem

Multimodale Roboterpolicies benötigen synchronisierte Video-, Audio-, Tast- und Aktionsdaten, deren Erhebung im großen Maßstab präzise Kalibrierung, teure Hardware und Arbeitskraft erfordert. Simulation funktioniert gut für das Sehen, doch Schall hängt von komplexer Wellendynamik und Materialwechselwirkungen ab, sodass physikbasierte Audiosimulation für großskaliges Roboterlernen zu teuer ist. Infolgedessen war der Sim-to-Real-Transfer vor allem bei visionsbasierten Aufgaben erfolgreich.

Lösungsansatz

MultiGen betreibt ein generatives Modell neben einem Physiksimulator: RoboVerse erzeugt bewegungsgeplante Eingießtrajektorien unter Domain Randomization, und das Video-zu-Audio-Modell MMAudio, feinabgestimmt auf 1.031 reale Eingießclips aus EPIC-Kitchens und einem YouTube-Crawl, erzeugt Audio aus einer virtuellen Kamera, die auf den Auffangbehälter gerichtet ist. SAMv2-Segmentierungsmasken werden als zusätzliche Konditionierung eingespeist, um die Lücke zwischen simuliertem und natürlichem Video zu überbrücken. Anschließend wird eine Diffusion Policy ausschließlich auf diesen synthetischen audiovisuellen Daten trainiert und zero-shot auf einem realen Arm eingesetzt.

Wichtigste Erkenntnisse

Ein generatives Modell kann einen Sinneskanal hinzufügen, für den der Simulator kein physikalisches Modell hat, sofern es auf das konditioniert wird, was der Simulator rendert.
Das fertige MMAudio war ungeeignet: Seine Trainingsdaten enthalten wenige Eingießgeräusche und viel tieffrequentes Foley-Audio, sodass ein Fine-Tuning auf kuratierten realen Eingießclips nötig war.
Die Konditionierung des Audiomodells auf SAMv2-Segmentierungsmasken zusätzlich zu RGB-Bildern macht es robuster gegenüber der visuellen Lücke zwischen Simulation und realem Video.
Eine eigene virtuelle Kamera vor dem Auffangbehälter hält die Eingabe des Audiomodells innerhalb der Verteilung seiner realen Fine-Tuning-Videos, selbst wenn die Aufgabenkameras verdeckt sind.
Audio hilft am meisten, wo das Sehen am schwächsten ist: Aufgaben mit undurchsichtigen Behältern gewannen mehr als solche mit durchsichtigen.

Hauptergebnisse

Zero-Shot-Eingießen in der realen Welt mit einem durchschnittlichen NMAE von 0,46, ohne dass reale Roboter-Sensor- oder Aktionsdaten im Training verwendet wurden.
Das Hinzufügen erzeugten Audios senkte den NMAE im Durchschnitt um 23,3 % gegenüber der rein visuellen Diffusion Policy.
Aufgaben mit undurchsichtigen Behältern zeigten eine durchschnittliche NMAE-Reduktion von 29,4 %, Aufgaben mit durchsichtigen Behältern 16,2 %.
Die Policy mit Bild plus Audio hatte in allen acht Testbedingungen (vier undurchsichtig, vier durchsichtig) einen niedrigeren NMAE als die rein visuelle, jeweils über 12 Zero-Shot-Versuche.
Im Vergleich zu einer Rauschaugmentierung im Stil von MANIWAV auf 10 realen Demonstrationen (je 1.000 Samples) war das MultiGen-Audio vielfältiger (logarithmische Spektraldistanz) und originalgetreuer (Signal-Verzerrungs-Verhältnis), und darauf trainierte Policies skalierten besser mit der Datensatzgröße.

Einschränkungen

Erfordert eine ungefähre Übereinstimmung zwischen simulierten und realen Szenen (Kameraplatzierung, korrektes Roboter-Embodiment), was noch etwas manuelle Einrichtung erfordert (Autoren).
Begrenzte Generalisierung auf extreme Behältergeometrien; große oder unregelmäßige Behälter verursachen nicht modellierte Dynamik wie Schwappen (Autoren).
Die Policies beherrschen keine Kollisionsvermeidung in vollgestellten Szenen; hindernisbewusste Planung oder zusätzliche Wahrnehmung wären nötig (Autoren).
Nur an einer einzigen Aufgabe, dem Eingießen, demonstriert, mit Audio als einziger erzeugter Modalität.
Die simulierten Trajektorien stammen aus einem geskripteten Bewegungsplaner mit vier diskreten Eingießmengen, nicht aus gelernten oder von Menschen geführten Demonstrationen.

Wirkung auf das Fachgebiet

Finalist für die CoRL 2025 Best Paper / Best Student Paper Awards, bisher 10 Zitierungen. Die lizenzierte arXiv-Fassung (v1, Titel MultiGen) verlinkt weder Code noch Daten noch eine Projektseite.

Zusammenfassung

Roboter müssen mehrere Sinnesmodalitäten integrieren, um in der realen Welt wirksam zu handeln. Doch das Lernen solcher multimodaler Policies im großen Maßstab bleibt schwierig. Simulation bietet eine gangbare Lösung, doch während das Sehen von hochpräzisen Simulatoren profitiert hat, lassen sich andere Modalitäten (z. B. Schall) notorisch schwer simulieren. Infolgedessen war der Sim-to-Real-Transfer vor allem bei visionsbasierten Aufgaben erfolgreich, während multimodaler Transfer noch weitgehend unverwirklicht ist. In dieser Arbeit begegnen wir diesen Herausforderungen mit MultiGen, einem Framework, das großskalige generative Modelle in traditionelle Physiksimulatoren integriert und so multisensorische Simulation ermöglicht. Wir demonstrieren unser Framework an der dynamischen Aufgabe des robotischen Eingießens, die von Natur aus auf multimodales Feedback angewiesen ist. Durch die Synthese realistischer, auf Simulationsvideo konditionierter Audiosignale ermöglicht unsere Methode das Training auf reichhaltigen audiovisuellen Trajektorien – ganz ohne reale Roboterdaten. Wir zeigen einen wirksamen Zero-Shot-Transfer auf reales Eingießen mit neuen Behältern und Flüssigkeiten und unterstreichen damit das Potenzial generativer Modellierung, sowohl schwer modellierbare Modalitäten zu simulieren als auch die multimodale Sim-to-Real-Lücke zu schließen.

Open Source Robotics