Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

Auteurs: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Des microphones de contact piézoélectriques transforment le toucher en audio, si bien qu'un encodeur pré-entraîné sur les vidéos d'AudioSet se transfère à la manipulation et surpasse, sur trois tâches réelles, les politiques fondées sur la seule vision et les politiques audio entraînées à partir de zéro.

Pourquoi c'est important

Les microphones de contact sont peu coûteux par rapport aux capteurs tactiles courants et enregistrent les vibrations à 32–48 kHz, contre 30–400 Hz pour les capteurs tactiles optiques et magnétiques. Comme leur signal est de l'audio, une équipe peut réutiliser des modèles audio-visuels existants à l'échelle d'Internet au lieu de collecter de grands jeux de données tactiles, ce qui compte lorsque seules quelques dizaines de démonstrations sont disponibles.

Problème

Le pré-entraînement à grande échelle est courant pour les représentations visuelles en apprentissage robotique, mais les modalités tactiles et autres modalités non visuelles sont encore entraînées à partir de zéro, faute de données à l'échelle d'Internet pour elles. Dans le régime à faibles données courant en robotique, avec quelques dizaines de démonstrations par tâche, la perception tactile reste ainsi sous-exploitée.

Solution proposée

Quatre microphones de contact piézoélectriques sur une pince Franka enregistrent les vibrations de contact sous forme audio, à la fois au niveau de la pince et à travers des outils tenus comme une cuillère ou une spatule. L'encodeur audio est initialisé à partir d'AVID, un modèle audio-visuel auto-supervisé pré-entraîné sur AudioSet, et l'encodeur d'images à partir de R3M (ResNet18 pré-entraîné sur Ego4D) ; tous deux restent non gelés et sont fusionnés par un bloc d'auto-attention dans une politique de clonage de comportement qui prédit une courte séquence d'actions delta 6-D de l'effecteur terminal.

Idées clés

• L'audio de contact d'un robot est suffisamment proche de l'audio d'Internet pour que le pré-entraînement audio-visuel sur AudioSet se transfère malgré l'écart de domaine.
• C'est l'échelle des données de pré-entraînement qui compte : BYOL-A, pré-entraîné uniquement sur de l'audio de contact du domaine, a obtenu des résultats comparables à ceux d'un encodeur audio initialisé aléatoirement (meilleur pour retourner, moins bon pour ramasser à la cuillère et fermer une fermeture éclair).
• Les caractéristiques audio pré-entraînées ont réduit le surapprentissage des détails visuels : pour retourner, la réussite de la politique fondée sur la seule vision a chuté d'environ 60 % entre les configurations d'entraînement et de test, celle de la politique audio-visuelle d'environ 20 %.
• La fusion par auto-attention est nécessaire mais pas suffisante : remplacer le Transformer par un MLP a réduit la réussite et la récompense de près de 50 % pour ramasser à la cuillère, jusqu'au niveau de la référence entraînée à partir de zéro.
• Geler l'encodeur audio AVID pré-entraîné pendant l'apprentissage de la politique n'a que légèrement réduit les performances.

Principaux résultats

• Retourner (40 démonstrations) : 50,0 % de réussite, contre 25,0 % pour BYOL-A, 15,4 % pour un encodeur audio entraîné à partir de zéro et 0,0 % pour la seule vision.
• Ramasser à la cuillère (60 démonstrations) : 78,1 % de réussite, contre 50,0 % à partir de zéro, 28,1 % pour la seule vision et 25,0 % pour BYOL-A.
• Fermer une fermeture éclair (50 démonstrations) : 88,9 % de réussite, contre 72,2 % à partir de zéro, 66,7 % pour BYOL-A et 44,4 % pour la seule vision.
• En moyenne, une réussite 0-1 supérieure de 23 % et une récompense supérieure de 76 % par rapport à la meilleure référence suivante ; surpasse ou égale toutes les références dans 8 configurations de tâches sur 9.
• Pour ramasser à la cuillère, la réussite a augmenté régulièrement de 30 à 60 puis 90 démonstrations, à peu près au même rythme que la référence fondée sur la seule vision.
• La politique compte environ 20M paramètres et s'entraîne en 1–1,5 heure sur un seul GPU RTX 3080 Ti.

Limites

• Les auteurs notent que les microphones de contact pourraient être moins utiles dans des tâches moins dynamiques comme la saisie et dépose.
• Ils pourraient aussi être moins utiles lorsque le robot lui-même génère des vibrations importantes.
• Ils pourraient ne pas aider avec des objets déformables qui n'émettent pas de vibrations perceptibles au contact.
• L'évaluation couvre trois tâches sur un seul bras robotique, avec au plus 60 démonstrations par tâche (90 dans l'ablation sur la mise à l'échelle).

Impact sur le domaine

Finaliste du ICRA 2024 IEEE ICRA Best Paper Award in Robot Manipulation, avec 31 citations. L'article renvoie à une page de projet présentant des vidéos des expériences sur robot réel ; il ne renvoie pas vers le code.

Résumé

Bien que le pré-entraînement sur une grande quantité de données soit bénéfique pour l'apprentissage robotique, les paradigmes actuels ne réalisent un pré-entraînement à grande échelle que pour les représentations visuelles, tandis que les représentations des autres modalités sont entraînées à partir de zéro. Contrairement à l'abondance des données visuelles, on ne sait pas clairement quelles données pertinentes à l'échelle d'Internet pourraient servir à pré-entraîner d'autres modalités telles que la perception tactile. Un tel pré-entraînement devient de plus en plus crucial dans les régimes à faibles données, courants dans les applications robotiques. Dans cet article, nous comblons cette lacune en utilisant des microphones de contact comme capteur tactile alternatif. Notre idée clé est que les microphones de contact captent des informations intrinsèquement audio, ce qui nous permet de tirer parti d'un pré-entraînement audio-visuel à grande échelle pour obtenir des représentations qui améliorent les performances de la manipulation robotique. À notre connaissance, notre méthode est la première approche qui exploite un pré-entraînement multisensoriel à grande échelle pour la manipulation robotique. Pour des informations supplémentaires, notamment des vidéos d'expériences sur robot réel, voir https://sites.google.com/view/hearing-touch.

Liens

• arXiv 2405.08576: https://arxiv.org/abs/2405.08576
• DOI 10.1109/ICRA57147.2024.10611305: https://doi.org/10.1109/ICRA57147.2024.10611305
• PDF: https://arxiv.org/pdf/2405.08576v1
• Page du projet: https://sites.google.com/view/hearing-touch