Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

Autori: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Microfoni a contatto piezoelettrici trasformano il tatto in audio, così un encoder pre-addestrato sui video di AudioSet si trasferisce alla manipolazione e supera le policy solo visive e quelle audio addestrate da zero in tre compiti reali.

Perché è importante

I microfoni a contatto sono economici rispetto ai comuni sensori tattili e registrano vibrazioni a 32–48 kHz, contro i 30–400 Hz dei sensori tattili ottici e magnetici. Poiché il loro segnale è audio, un gruppo di lavoro può riutilizzare modelli audiovisivi esistenti su scala internet invece di raccogliere grandi dataset tattili, il che conta quando sono disponibili solo poche decine di dimostrazioni.

Problema

Il pre-addestramento su larga scala è prassi per le rappresentazioni visive nell'apprendimento robotico, ma le modalità tattili e le altre non visive vengono ancora addestrate da zero perché non esistono dati su scala internet per esse. Nel regime con pochi dati comune in robotica, con decine di dimostrazioni per compito, questo lascia sottoutilizzato il rilevamento tattile.

Soluzione proposta

Quattro microfoni a contatto piezoelettrici su una pinza Franka registrano come audio le vibrazioni di contatto, sia sulla pinza sia attraverso gli utensili impugnati, come un cucchiaio o una spatola. L'encoder audio è inizializzato da AVID, un modello audiovisivo auto-supervisionato pre-addestrato su AudioSet, e l'encoder di immagini da R3M (ResNet18 pre-addestrata su Ego4D); entrambi restano non congelati e sono fusi da un blocco di self-attention in una policy di behavior cloning che predice una breve sequenza di azioni delta 6-D dell'end effector.

Idee chiave

L'audio di contatto di un robot è abbastanza vicino all'audio di internet perché il pre-addestramento audiovisivo su AudioSet si trasferisca nonostante il divario di dominio.
Ciò che conta è la scala dei dati di pre-addestramento: BYOL-A pre-addestrato solo su audio di contatto del dominio specifico ha dato prestazioni paragonabili a un encoder audio inizializzato casualmente (meglio nel capovolgere, peggio nel raccogliere con il cucchiaio e nel chiudere la cerniera).
Le feature audio pre-addestrate hanno ridotto l'overfitting sui dettagli visivi: nel capovolgere, il successo della policy solo visiva è calato di circa il 60 % passando dalle configurazioni di addestramento a quelle di test, quello della policy audiovisiva di circa il 20 %.
La fusione con self-attention è necessaria ma non sufficiente: sostituire il Transformer con un MLP ha ridotto successo e ricompensa di quasi il 50 % nel raccogliere con il cucchiaio, fino al livello della baseline addestrata da zero.
Congelare l'encoder audio AVID pre-addestrato durante l'apprendimento della policy ha ridotto le prestazioni solo di poco.

Risultati principali

Capovolgere (40 dimostrazioni): 50,0 % di successo, contro 25,0 % di BYOL-A, 15,4 % di un encoder audio addestrato da zero e 0,0 % della policy solo visiva.
Raccogliere con il cucchiaio (60 dimostrazioni): 78,1 % di successo, contro 50,0 % da zero, 28,1 % solo visione e 25,0 % BYOL-A.
Chiudere la cerniera (50 dimostrazioni): 88,9 % di successo, contro 72,2 % da zero, 66,7 % BYOL-A e 44,4 % solo visione.
In media un successo 0-1 superiore del 23 % e una ricompensa superiore del 76 % rispetto alla seconda migliore baseline; supera o eguaglia tutte le baseline in 8 configurazioni di compito su 9.
Nel raccogliere con il cucchiaio, il successo è cresciuto costantemente passando da 30 a 60 a 90 dimostrazioni, all'incirca allo stesso ritmo della baseline solo visiva.
La policy ha circa 20M parametri e si addestra in 1–1,5 ore su una singola GPU RTX 3080 Ti.

Limiti

Gli autori osservano che i microfoni a contatto possono essere meno utili in compiti meno dinamici come il pick and place.
Possono essere meno utili anche quando il robot stesso genera vibrazioni significative.
Potrebbero non aiutare con oggetti deformabili che non emettono vibrazioni percepibili al contatto.
La valutazione copre tre compiti su un solo braccio robotico con al massimo 60 dimostrazioni per compito (90 nell'ablazione sulla scala).

Impatto sul settore

Finalista dell'ICRA 2024 IEEE ICRA Best Paper Award in Robot Manipulation, con 31 citazioni. L'articolo rimanda a una pagina del progetto con video degli esperimenti con il robot reale; non fornisce link al codice.

Abstract

Sebbene il pre-addestramento su una grande quantità di dati sia vantaggioso per l'apprendimento robotico, i paradigmi attuali eseguono un pre-addestramento su larga scala solo per le rappresentazioni visive, mentre le rappresentazioni delle altre modalità vengono addestrate da zero. A differenza dell'abbondanza di dati visivi, non è chiaro quali dati pertinenti su scala internet si possano usare per pre-addestrare altre modalità, come il rilevamento tattile. Questo pre-addestramento diventa sempre più cruciale nei regimi con pochi dati comuni nelle applicazioni robotiche. In questo articolo affrontiamo questa lacuna usando microfoni a contatto come sensore tattile alternativo. La nostra intuizione chiave è che i microfoni a contatto catturano informazioni intrinsecamente basate sull'audio, consentendoci di sfruttare il pre-addestramento audiovisivo su larga scala per ottenere rappresentazioni che migliorano le prestazioni della manipolazione robotica. Per quanto ne sappiamo, il nostro metodo è il primo approccio che sfrutta il pre-addestramento multisensoriale su larga scala per la manipolazione robotica. Per informazioni supplementari, inclusi i video degli esperimenti con robot reali, si veda https://sites.google.com/view/hearing-touch.

Link

arXiv 2405.08576: https://arxiv.org/abs/2405.08576
DOI 10.1109/ICRA57147.2024.10611305: https://doi.org/10.1109/ICRA57147.2024.10611305
PDF: https://arxiv.org/pdf/2405.08576v1
Pagina del progetto: https://sites.google.com/view/hearing-touch