PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

作者: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

PolyTouch 將以攝影機為基礎的觸覺、接觸式麥克風與周邊視覺整合進一根耐用的手指；使用它的觸覺 Diffusion Policy 在四項雙臂任務上勝過視覺加本體感知的策略。

為何重要

一根能承受長時間大量接觸使用、且不需模具設備就能製作的觸覺手指，讓以學習策略所需的規模在機器人上蒐集觸覺資料變得可行。四項測試任務都是一般的雙臂任務，並非為了觸覺感測而挑選；沒有觸覺時出現的與力相關的失敗，例如把扳手壓得太重或把鍋鏟壓得太輕，在有觸覺輸入時都沒有發生。

問題

只依賴外部視覺與本體感知的策略，難以應付遮擋、雜亂或不易看清的物體，以及需要精確調節接觸力的任務。以攝影機為基礎的觸覺感測器提供高空間解析度，但通常執行頻率低於 100 Hz，會因磨耗、撕裂與脫層而損壞，需要專門設備來製作，且感測面積愈大就愈笨重。

提出的方法

PolyTouch 是一根機器人手指，結合以攝影機為基礎的觸覺表面（一台 IMX708 攝影機透過曲面鏡觀看彈性體，以 450 nm 藍色 LED 與螢光塗料照明）、一個 48 kHz 的壓電接觸式麥克風，以及透過兩個側窗的周邊視覺，所有資料經由一條改作他用的 HDMI 線串流到 Raspberry Pi。預設彈性體是透明的 3M VHB 膠帶，表面擦上鋁粉片並覆蓋 3M Soft & Stretch 膠帶，裝在可滑出更換的卡匣中；矽膠選項則使用 XP-565 橡膠。觸覺 Diffusion Policy 以預先訓練的 T3 編碼器編碼觸覺與周邊影像，以 CLIP 編碼腕部與場景影像，以 Audio Spectrogram Transformer 編碼音訊，以 MLP 編碼本體感知，透過交叉注意力加以融合，並以 U-Net Diffusion Policy 預測動作。

關鍵見解

• 以 VHB 膠帶作為彈性體，幾乎完全消除了矽膠凝膠的脫層問題，而且沒有經驗的人製作一片 VHB 彈性體只需不到 5 分鐘。
• 用力過大或不足（插入扳手時壓得太重、舀取時鍋鏟壓得不夠）只出現在視覺加本體感知的策略，從未出現在任何一種包含觸覺的策略。
• 視覺加本體感知策略出現 11 次不精確的抓取，包含觸覺的策略平均則為 3 次；作者將此歸因於抓取時近距離的周邊視角。
• 更多模態可能需要更多資料：當上蛋策略只用 1/3 或 2/3 的資料訓練時，相對於視覺加本體感知策略的優勢縮小，作者將此與較大的模型規模連結在一起。

主要結果

• 模擬工具使用下的耐久度（以 10 到 30 N 抓握鍋鏟握把，連續隨機 6D 摩擦）：PolyTouch-VHB 運作 35 h，未發生失效，影像品質也未下降；兩片標準 GelSight Mini 凝膠分別撐了 1.0 h（凝膠撕裂）與 3.3 h（塗料脫落）；裝在 GelSight Mini 上的客製 XP-565 凝膠撐了 25.0 h。摘要與引言將此描述為壽命比商用感測器至少增加 20 倍。
• 估計每根手指成本約 61 USD，主要以現成材料製作，不需專門設備。
• 使用全部資料的 Serve Egg：平均任務進度為 81%（visuo-proprio）、88%（multi-concate）、100%（multi-crossatn）；平均任務成功率為 66%、73% 與 100%。
• 其他任務的平均任務成功率（visuo-proprio / multi-concate / multi-crossatn）：Insert Wrench 0% / 20% / 18%，Sort Fruit 33% / 46% / 46%，Crack Egg 50% / 53% / 54%。
• 黑莓與藍莓的分揀，包含觸覺的策略成功率為 80%，視覺加本體感知策略則為 20%。
• Serve Egg 上 multi-crossatn 相對於 visuo-proprio 的進度提升：全部資料時為 19%，2/3 資料時為 3%，1/3 資料時為 7%；成功率提升在全部資料時為 34%，2/3 資料時為 20%。

限制

• 具黏彈性的壓克力泡棉 VHB 膠帶在接觸後回復緩慢，這種遲滯可能在動態任務中造成反應變慢或判讀上的模糊；作者建議使用時間差分影像、與周邊視圖交叉比對，或改用黏性較低的材料（已陳述的限制）。
• 多模態策略似乎需要更多資料才能充分展現優勢，可能是因為模型較大（作者陳述）。
• 訓練集很小，每項任務約 70 到 200 筆示範，且論文未說明每個表格項目是根據多少次評估執行得出。
• 壽命比較只使用一種模擬工具使用的設定，以及一個商用感測器系列（GelSight Mini）。
• 矽膠彈性體的反應比 VHB 快，但需要與其他矽膠感測器相同的製作流程。

對領域的影響

榮獲 IEEE ICRA 2025 野外與服務機器人最佳論文獎；被引用 53 次。論文提供這根手指的物料清單（估計每根 61 USD）與製作步驟，並指向一個專案頁面；未連結程式碼或設計檔。

摘要

在非結構化的居家環境中達成穩健的靈巧操作，仍是機器人學的一大挑戰。即使採用最先進的機器人學習方法，不考慮觸覺的控制策略（也就是只依賴外部視覺和/或本體感知的策略）也常因遮擋、視覺上的複雜度，以及需要精確控制接觸互動而力有未逮。為了因應這些限制，我們推出 PolyTouch，一種新的機器人手指，將以攝影機為基礎的觸覺感測、聲學感測與周邊視覺感測整合進一個精巧且耐用的單一設計。PolyTouch 在多個時間尺度上提供高解析度的觸覺回饋，這對有效率地學習複雜的操作任務至關重要。實驗顯示其壽命比商用觸覺感測器至少增加 20 倍，且設計容易製造、可擴展。接著，我們將這種多模態觸覺回饋與視覺及本體感知觀測結合，從人類示範合成一個觸覺 Diffusion Policy；由此得到的接觸感知控制策略，在多種接觸感知操作策略中顯著優於不考慮觸覺的策略。本文凸顯有效整合多模態接觸感測如何能加速開發有效的接觸感知操作策略，為更可靠、更多用途的居家機器人鋪路。更多資訊請見 https://polytouch.alanz.info/。

連結

• arXiv 2504.19341: https://arxiv.org/abs/2504.19341
• DOI 10.1109/ICRA55743.2025.11128816: https://doi.org/10.1109/ICRA55743.2025.11128816
• PDF: https://arxiv.org/pdf/2504.19341v1
• 專案頁面: https://polytouch.alanz.info/