The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

Autori: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

MultiGen abbina un simulatore fisico a un modello video-audio sottoposto a fine-tuning per creare dati audiovisivi di versamento, addestrando policy che versano liquidi reali zero-shot senza dati da robot reale.

Perché è importante

Mostra un modo per addestrare i robot su sensi che i simulatori non riescono a modellare bene: apprendere il segnale da video del mondo reale invece di simularne la fisica. Nel versamento, dove il liquido è nascosto o il contenitore è trasparente, l'audio generato migliora la precisione nel mondo reale senza raccogliere alcuna dimostrazione robotica.

Problema

Le policy robotiche multimodali richiedono dati sincronizzati di video, audio, tatto e azione, la cui raccolta su larga scala esige una calibrazione precisa, hardware costoso e lavoro manuale. La simulazione funziona bene per la visione, ma il suono dipende da una dinamica ondulatoria complessa e dalle interazioni tra materiali, per cui la simulazione audio basata sulla fisica è troppo costosa per l'apprendimento robotico su larga scala. Di conseguenza, il trasferimento sim-to-real ha avuto successo soprattutto in task basati sulla visione.

Soluzione proposta

MultiGen esegue un modello generativo accanto a un simulatore fisico: RoboVerse produce traiettorie di versamento con pianificazione del movimento sotto randomizzazione del dominio, e il modello video-audio MMAudio, sottoposto a fine-tuning su 1.031 clip reali di versamento tratte da EPIC-Kitchens e da una raccolta su YouTube, genera l'audio da una telecamera virtuale rivolta verso il contenitore ricevente. Le maschere di segmentazione di SAMv2 vengono iniettate come condizionamento aggiuntivo per colmare il divario tra video simulato e naturale. Una diffusion policy viene poi addestrata solo su questi dati audiovisivi sintetici e distribuita zero-shot su un braccio reale.

Idee chiave

• Un modello generativo può aggiungere un flusso sensoriale per cui il simulatore non ha un modello fisico, purché sia condizionato su ciò che il simulatore renderizza.
• MMAudio così com'è non era adeguato: i suoi dati di addestramento contengono pochi suoni di versamento e molto audio Foley a bassa frequenza, quindi è stato necessario un fine-tuning su clip reali di versamento selezionate.
• Condizionare il modello audio sulle maschere di segmentazione di SAMv2 oltre che sui fotogrammi RGB lo rende più robusto al divario visivo tra simulazione e video reale.
• Una telecamera virtuale dedicata davanti al contenitore ricevente mantiene l'input del modello audio all'interno della distribuzione dei suoi video reali di fine-tuning, anche quando le telecamere del task sono coperte.
• L'audio aiuta di più dove la visione è più debole: i task con contenitori opachi hanno guadagnato più di quelli con contenitori trasparenti.

Risultati principali

• Versamento zero-shot nel mondo reale con un NMAE medio di 0,46, senza usare in addestramento alcun dato sensoriale o di azione da robot reale.
• L'aggiunta dell'audio generato ha ridotto l'NMAE in media del 23,3 % rispetto alla diffusion policy basata sulla sola visione.
• I task con contenitori opachi hanno registrato una riduzione media dell'NMAE del 29,4 %, quelli con contenitori trasparenti del 16,2 %.
• La policy visione più audio ha avuto un NMAE inferiore a quella con sola visione in tutte e otto le condizioni di test (quattro opache, quattro trasparenti), ciascuna su 12 prove zero-shot.
• Rispetto all'aumento dei dati con rumore in stile MANIWAV di 10 dimostrazioni reali (1.000 campioni ciascuna), l'audio di MultiGen è risultato più vario (distanza log-spettrale) e più fedele (rapporto segnale-distorsione), e le policy addestrate su di esso sono migliorate di più al crescere del dataset.

Limiti

• Richiede un allineamento approssimativo tra scene simulate e reali (posizionamento della telecamera, corretto embodiment del robot), che richiede ancora una certa configurazione manuale (autori).
• Generalizzazione limitata a geometrie estreme dei contenitori; contenitori grandi o irregolari causano dinamiche non modellate come lo sciabordio (autori).
• Le policy non gestiscono l'evitamento delle collisioni in scene ingombre; servirebbero una pianificazione che tenga conto degli ostacoli o una percezione aggiuntiva (autori).
• Dimostrato su un solo task, il versamento, con l'audio come unica modalità generata.
• Le traiettorie simulate provengono da un pianificatore di movimento scriptato con quattro quantità di versamento discrete, non da dimostrazioni apprese o guidate dall'uomo.

Impatto sul settore

Finalista ai premi CoRL 2025 Best Paper / Best Student Paper, con 10 citazioni finora. La versione con licenza su arXiv (v1, intitolata MultiGen) non rimanda a codice, dati né a una pagina del progetto.

Abstract

I robot devono integrare più modalità sensoriali per agire efficacemente nel mondo reale. Tuttavia, apprendere queste policy multimodali su larga scala resta difficile. La simulazione offre una soluzione praticabile, ma mentre la visione ha beneficiato di simulatori ad alta fedeltà, altre modalità (ad es. il suono) possono essere notoriamente difficili da simulare. Di conseguenza, il trasferimento sim-to-real ha avuto successo soprattutto in task basati sulla visione, mentre il trasferimento multimodale resta in gran parte irrealizzato. In questo lavoro affrontiamo queste sfide introducendo MultiGen, un framework che integra modelli generativi su larga scala nei simulatori fisici tradizionali, consentendo una simulazione multisensoriale. Mostriamo il nostro framework sul task dinamico del versamento robotico, che si basa intrinsecamente su un feedback multimodale. Sintetizzando audio realistico condizionato sul video della simulazione, il nostro metodo consente l'addestramento su ricche traiettorie audiovisive, senza alcun dato da robot reale. Dimostriamo un trasferimento zero-shot efficace al versamento nel mondo reale con contenitori e liquidi nuovi, evidenziando il potenziale della modellazione generativa sia per simulare modalità difficili da modellare sia per colmare il divario sim-to-real multimodale.

Link

• arXiv 2507.02864: https://arxiv.org/abs/2507.02864
• PDF: https://arxiv.org/pdf/2507.02864v1