Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

作者: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

压电接触式麦克风把触觉转化为音频，因此在 AudioSet 视频上预训练的编码器可以迁移到操作任务中，并在三个真实任务上优于仅视觉和从零训练音频的策略。

为何重要

与常见的触觉传感器相比，接触式麦克风价格低廉，能以 32–48 kHz 记录振动，而光学和磁性触觉传感器只有 30–400 Hz。由于其信号是音频，团队可以复用现有的互联网规模视听模型，而无需采集大型触觉数据集，这在只有几十次示范可用时尤为重要。

问题

在机器人学习中，大规模预训练对于视觉表征已是常规做法，但触觉和其他非视觉模态仍从零开始训练，因为它们没有互联网规模的数据。在机器人领域常见的低数据情形下（每个任务只有几十次示范），这使触觉感知未能得到充分利用。

提出的方法

Franka 夹爪上的四个压电接触式麦克风将接触振动记录为音频，既包括夹爪处的振动，也包括通过所持工具（如勺子或锅铲）传来的振动。音频编码器由 AVID 初始化，这是一个在 AudioSet 上预训练的自监督视听模型；图像编码器由 R3M（在 Ego4D 上预训练的 ResNet18）初始化；两者都不冻结，并在一个行为克隆策略中通过自注意力模块融合，该策略预测一小段 6-D 末端执行器增量动作序列。

关键见解

• 机器人的接触音频与互联网音频足够接近，因此尽管存在领域差距，AudioSet 视听预训练仍能迁移。
• 关键在于预训练数据的规模：仅在领域内接触音频上预训练的 BYOL-A，表现与随机初始化的音频编码器相当（翻转任务更好，舀取和拉拉链任务更差）。
• 预训练的音频特征减少了对视觉细节的过拟合：在翻转任务上，从训练设置到测试设置，仅视觉策略的成功率下降约 60%，视听策略下降约 20%。
• 自注意力融合是必要的，但并不充分：在舀取任务上，用 MLP 替换 Transformer 使成功率和奖励下降近 50%，降到从零训练基线的水平。
• 在策略学习期间冻结预训练的 AVID 音频编码器，只会使性能略有下降。

主要结果

• 翻转（40 次示范）：成功率 50.0%，BYOL-A 为 25.0%，从零训练的音频编码器为 15.4%，仅视觉为 0.0%。
• 舀取（60 次示范）：成功率 78.1%，从零训练为 50.0%，仅视觉为 28.1%，BYOL-A 为 25.0%。
• 拉拉链（50 次示范）：成功率 88.9%，从零训练为 72.2%，BYOL-A 为 66.7%，仅视觉为 44.4%。
• 平均而言，0-1 成功率比次优基线高 23%，奖励高 76%；在 9 种任务配置中的 8 种上优于或持平所有基线。
• 在舀取任务上，随着示范从 30 次增加到 60 次再到 90 次，成功率稳步上升，上升速度与仅视觉基线大致相同。
• 该策略约有 20M 参数，在单块 RTX 3080 Ti GPU 上训练需要 1–1.5 小时。

局限

• 作者指出，在拾取放置等动态性较弱的任务中，接触式麦克风可能用处较小。
• 当机器人自身产生明显振动时，它们的用处也可能较小。
• 对于接触时不产生可感知振动的可变形物体，它们可能没有帮助。
• 评估只涵盖一台机械臂上的三个任务，每个任务最多 60 次示范（规模消融实验中为 90 次）。

对领域的影响

入围 ICRA 2024 IEEE ICRA 机器人操作最佳论文奖决赛，被引用 31 次。论文指向一个带有真实机器人实验视频的项目页面；未提供代码链接。

摘要

尽管在大量数据上进行预训练对机器人学习有益，但当前的范式只对视觉表征进行大规模预训练，其他模态的表征则从零开始训练。与丰富的视觉数据相比，尚不清楚可以用哪些相关的互联网规模数据来预训练触觉等其他模态。在机器人应用中常见的低数据情形下，这种预训练变得越来越关键。在本文中，我们使用接触式麦克风作为一种替代的触觉传感器来填补这一空白。我们的关键洞见是，接触式麦克风捕获的本质上是基于音频的信息，这使我们能够利用大规模视听预训练来获得提升机器人操作性能的表征。据我们所知，我们的方法是首个利用大规模多感官预训练进行机器人操作的方法。包括真实机器人实验视频在内的补充信息，请见 https://sites.google.com/view/hearing-touch。

链接

• arXiv 2405.08576: https://arxiv.org/abs/2405.08576
• DOI 10.1109/ICRA57147.2024.10611305: https://doi.org/10.1109/ICRA57147.2024.10611305
• PDF: https://arxiv.org/pdf/2405.08576v1
• 项目主页: https://sites.google.com/view/hearing-touch