Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

Autoren: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Piezo-Kontaktmikrofone machen Berührung zu Audio, sodass ein auf AudioSet-Videos vortrainierter Encoder sich auf Manipulation überträgt und auf drei realen Aufgaben rein visuelle Policies und von Grund auf trainierte Audio-Policies schlägt.

Warum es wichtig ist

Kontaktmikrofone sind im Vergleich zu gängigen taktilen Sensoren günstig und zeichnen Vibrationen mit 32–48 kHz auf, gegenüber 30–400 Hz bei optischen und magnetischen taktilen Sensoren. Da ihr Signal Audio ist, kann ein Team bestehende audiovisuelle Modelle im Internetmaßstab wiederverwenden, statt große taktile Datensätze zu sammeln, was wichtig ist, wenn nur einige Dutzend Demonstrationen verfügbar sind.

Problem

Großskaliges Vortraining ist für visuelle Repräsentationen im Roboterlernen Routine, doch taktile und andere nicht visuelle Modalitäten werden weiterhin von Grund auf trainiert, weil es für sie keine Daten im Internetmaßstab gibt. Im in der Robotik üblichen Regime mit wenigen Daten, mit einigen Dutzend Demonstrationen pro Aufgabe, bleibt die taktile Wahrnehmung dadurch zu wenig genutzt.

Lösungsansatz

Vier Piezo-Kontaktmikrofone an einem Franka-Greifer zeichnen Kontaktvibrationen als Audio auf, sowohl am Greifer als auch über gehaltene Werkzeuge wie einen Löffel oder Pfannenwender. Der Audio-Encoder wird mit AVID initialisiert, einem selbstüberwachten audiovisuellen Modell, das auf AudioSet vortrainiert wurde, und der Bild-Encoder mit R3M (ResNet18, vortrainiert auf Ego4D); beide bleiben ungefroren und werden durch einen Self-Attention-Block in einer Policy für Verhaltensklonung fusioniert, die eine kurze Folge von 6-D-Delta-Aktionen des Endeffektors vorhersagt.

Wichtigste Erkenntnisse

Kontaktaudio eines Roboters ist Internetaudio ähnlich genug, dass sich audiovisuelles Vortraining auf AudioSet trotz der Domänenlücke überträgt.
Entscheidend ist der Umfang der Vortrainingsdaten: Nur auf domäneninternem Kontaktaudio vortrainiertes BYOL-A schnitt vergleichbar mit einem zufällig initialisierten Audio-Encoder ab (besser beim Wenden, schlechter beim Schöpfen und Schließen des Reißverschlusses).
Vortrainierte Audiomerkmale verringerten die Überanpassung an visuelle Details: Beim Wenden sank der Erfolg rein visuell vom Trainings- zum Testsetting um etwa 60 %, bei der audiovisuellen Policy um etwa 20 %.
Self-Attention-Fusion ist notwendig, aber nicht hinreichend: Den Transformer durch ein MLP zu ersetzen, senkte Erfolg und Belohnung beim Schöpfen um fast 50 % auf das Niveau der von Grund auf trainierten Baseline.
Das Einfrieren des vortrainierten AVID-Audio-Encoders während des Policy-Lernens verringerte die Leistung nur geringfügig.

Hauptergebnisse

Wenden (40 Demonstrationen): 50,0 % Erfolg, gegenüber 25,0 % für BYOL-A, 15,4 % für einen von Grund auf trainierten Audio-Encoder und 0,0 % rein visuell.
Schöpfen (60 Demonstrationen): 78,1 % Erfolg, gegenüber 50,0 % von Grund auf, 28,1 % rein visuell und 25,0 % BYOL-A.
Reißverschluss schließen (50 Demonstrationen): 88,9 % Erfolg, gegenüber 72,2 % von Grund auf, 66,7 % BYOL-A und 44,4 % rein visuell.
Im Mittel 23 % höherer 0-1-Erfolg und 76 % höhere Belohnung als die zweitbeste Baseline; übertrifft oder erreicht alle Baselines in 8 von 9 Aufgabenkonfigurationen.
Beim Schöpfen stieg der Erfolg von 30 über 60 auf 90 Demonstrationen stetig an, ungefähr im gleichen Maß wie bei der rein visuellen Baseline.
Die Policy hat rund 20M Parameter und trainiert in 1–1,5 Stunden auf einer einzigen RTX 3080 Ti GPU.

Einschränkungen

Die Autoren merken an, dass Kontaktmikrofone bei weniger dynamischen Aufgaben wie Pick-and-Place weniger nützlich sein könnten.
Sie könnten auch weniger nützlich sein, wenn der Roboter selbst erhebliche Vibrationen erzeugt.
Bei verformbaren Objekten, die bei Kontakt keine wahrnehmbaren Vibrationen abgeben, helfen sie möglicherweise nicht.
Die Evaluierung umfasst drei Aufgaben an einem Roboterarm mit höchstens 60 Demonstrationen pro Aufgabe (90 in der Skalierungsablation).

Wirkung auf das Fachgebiet

Finalist für den ICRA 2024 IEEE ICRA Best Paper Award in Robot Manipulation, mit 31 Zitierungen. Das Paper verweist auf eine Projektseite mit Videos der Experimente mit realen Robotern; Code wird nicht verlinkt.

Zusammenfassung

Obwohl Vortraining auf großen Datenmengen für das Roboterlernen vorteilhaft ist, führen aktuelle Paradigmen großskaliges Vortraining nur für visuelle Repräsentationen durch, während Repräsentationen für andere Modalitäten von Grund auf trainiert werden. Im Gegensatz zur Fülle visueller Daten ist unklar, welche relevanten Daten im Internetmaßstab für das Vortraining anderer Modalitäten wie der taktilen Wahrnehmung genutzt werden können. Ein solches Vortraining wird in den in Robotikanwendungen üblichen Regimen mit wenigen Daten immer wichtiger. In diesem Paper schließen wir diese Lücke, indem wir Kontaktmikrofone als alternativen taktilen Sensor verwenden. Unsere zentrale Erkenntnis ist, dass Kontaktmikrofone inhärent audiobasierte Informationen erfassen, sodass wir großskaliges audiovisuelles Vortraining nutzen können, um Repräsentationen zu gewinnen, die die Leistung robotischer Manipulation steigern. Nach unserem besten Wissen ist unsere Methode der erste Ansatz, der großskaliges multisensorisches Vortraining für robotische Manipulation nutzt. Ergänzende Informationen einschließlich Videos der Experimente mit realen Robotern finden Sie unter https://sites.google.com/view/hearing-touch.

Open Source Robotics