Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

作者: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

壓電接觸式麥克風把觸覺轉成聲音，因此在 AudioSet 影片上預訓練的編碼器能轉移到操作任務，並在三個真實任務上勝過只用視覺與從頭訓練聲音的策略。

為何重要

相較於常見的觸覺感測器，接觸式麥克風價格低廉，能以 32–48 kHz 記錄振動，而光學與磁性觸覺感測器只有 30–400 Hz。由於其訊號是聲音，團隊可以沿用既有的網際網路規模視聽模型，而不必收集大型觸覺資料集，這在只有幾十次示範可用時尤其重要。

問題

在機器人學習中，大規模預訓練對視覺表徵已是常規做法，但觸覺與其他非視覺模態仍從頭訓練，因為它們沒有網際網路規模的資料。在機器人領域常見的低資料情境下（每個任務只有幾十次示範），這讓觸覺感測未能充分發揮。

提出的方法

Franka 夾爪上的四個壓電接觸式麥克風把接觸振動記錄成聲音，包括夾爪處的振動，以及透過手持工具（例如湯匙或鍋鏟）傳來的振動。聲音編碼器以 AVID 初始化，這是一個在 AudioSet 上預訓練的自監督視聽模型；影像編碼器以 R3M（在 Ego4D 上預訓練的 ResNet18）初始化；兩者都不凍結，並在一個行為複製策略中以自注意力模組融合，該策略預測一小段 6-D 末端執行器增量動作序列。

關鍵見解

機器人的接觸聲音與網路上的聲音夠接近，因此儘管有領域差距，AudioSet 視聽預訓練仍能轉移。
關鍵在於預訓練資料的規模：只在領域內接觸聲音上預訓練的 BYOL-A，表現與隨機初始化的聲音編碼器相當（翻面任務較好，舀取與拉拉鍊任務較差）。
預訓練的聲音特徵減少了對視覺細節的過度擬合：在翻面任務上，從訓練設定到測試設定，只用視覺的策略成功率下降約 60%，視聽策略下降約 20%。
自注意力融合是必要條件但不是充分條件：在舀取任務上，以 MLP 取代 Transformer 使成功率與獎勵下降近 50%，降到從頭訓練基線的水準。
在策略學習期間凍結預訓練的 AVID 聲音編碼器，只讓效能略微下降。

主要結果

翻面（40 次示範）：成功率 50.0%，BYOL-A 為 25.0%，從頭訓練的聲音編碼器為 15.4%，只用視覺為 0.0%。
舀取（60 次示範）：成功率 78.1%，從頭訓練為 50.0%，只用視覺為 28.1%，BYOL-A 為 25.0%。
拉拉鍊（50 次示範）：成功率 88.9%，從頭訓練為 72.2%，BYOL-A 為 66.7%，只用視覺為 44.4%。
平均而言，0-1 成功率比次佳基線高 23%，獎勵高 76%；在 9 種任務設定中的 8 種上勝過或追平所有基線。
在舀取任務上，隨著示範從 30 次增加到 60 次再到 90 次，成功率穩定上升，上升速度與只用視覺的基線大致相同。
此策略約有 20M 參數，在單張 RTX 3080 Ti GPU 上訓練需 1–1.5 小時。

限制

作者指出，在取放等動態性較低的任務中，接觸式麥克風可能用處較小。
當機器人本身產生明顯振動時，它們的用處也可能較小。
對於接觸時不會發出可察覺振動的可變形物體，它們可能沒有幫助。
評估只涵蓋一支機器手臂上的三個任務，每個任務最多 60 次示範（規模消融實驗中為 90 次）。

對領域的影響

入圍 ICRA 2024 IEEE ICRA 機器人操作最佳論文獎決選，被引用 31 次。論文指向一個附有真實機器人實驗影片的專案頁面；未提供程式碼連結。

摘要

雖然在大量資料上預訓練有益於機器人學習，但目前的範式只對視覺表徵進行大規模預訓練，其他模態的表徵則從頭訓練。相較於豐富的視覺資料，目前並不清楚有哪些相關的網際網路規模資料可用於預訓練觸覺等其他模態。在機器人應用常見的低資料情境下，這類預訓練變得愈來愈關鍵。本文以接觸式麥克風作為替代的觸覺感測器來填補這個缺口。我們的關鍵洞見是，接觸式麥克風擷取的本質上是以聲音為基礎的資訊，讓我們能利用大規模視聽預訓練取得提升機器人操作效能的表徵。據我們所知，我們的方法是第一個利用大規模多感官預訓練進行機器人操作的方法。包含真實機器人實驗影片在內的補充資訊，請見 https://sites.google.com/view/hearing-touch。

連結

arXiv 2405.08576: https://arxiv.org/abs/2405.08576
DOI 10.1109/ICRA57147.2024.10611305: https://doi.org/10.1109/ICRA57147.2024.10611305
PDF: https://arxiv.org/pdf/2405.08576v1
專案頁面: https://sites.google.com/view/hearing-touch