Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

作者: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個以 JEPA 訓練的編碼器，將壓阻式、磁性與視觸覺感測器放進同一個指尖空間；在凍結狀態下，它讓四種策略在 26 項真實任務上提升 13.9–24.8 個百分點，並且在一種未見過的感測器上同樣有效。

為何重要

編碼器保持凍結，其 token 被加入既有策略中（對所測試的三個 VLA 而言，參數增加 0.13–0.16%），因此不必重新訓練編碼器，就能為 Diffusion Policy 或 VLA 加上觸覺。它不需任何參數更新就轉移到了 XHand1，一種未出現在預訓練中的磁性機器手。

問題

市售觸覺感測器（壓阻式、磁性、視觸覺）各有不同的通道、配置、解析度與取樣率，因此一種感測器的資料無法用來為另一種感測器訓練模型。目前沒有大型的匯集式觸覺語料庫，也沒有共享的表徵，大多數機器人仍只靠視覺進行操作。

提出的方法

LingBot-Touch 將每種感測器的觸覺單元（taxel）放進一個標準的指尖座標空間，以旋轉位置編碼為五維 token 位址（時間、手指、3D 位置）編碼，使用小型的各模態 MLP 分詞器與一個共享的 Haptic Transformer，並以 Tactile-JEPA 訓練：在潛在空間中預測被遮罩觸覺單元的表徵，採用 80% 的空間遮罩、從 40% 到 80% 的遮罩暖身，以及配置擴增。它以來自人類觸覺手套與一台配備 Sharpa Wave 機器手、經遠端操作之雙臂機器人的 4,983 小時資料（464,431 個回合，約 13.3 億幀）進行預訓練。

關鍵見解

原始觸覺輸入對策略的幫助至多約為學得 token 的一半，且在 104 個任務-策略組合中的 22 個反而有害。
潛在空間預測會隨資料增加而進步，重建則不會：VAE 從 1K 小時到 4K 小時反而變差（接觸中心誤差 3.03 → 4.08 mm），而 LingBot-Touch 在全部五項探測上都有進步。
力與動態特性能跨感測原理轉移，但空間精度取決於感測器本身的配置：在固定的 1,000 小時預算下，單一來源模型在 8 組比較中的 7 組於其自身感測器上勝出。
遮罩必須適合稀疏訊號：80% 的遮罩勝過 90%，而將遮罩比例從 40% 逐步調升可避免梯度爆炸。
Tiny 模型（5.46M）在接近 4K 小時時趨於飽和，而 Small（21.76M）持續進步到 5K 小時，因此模型容量必須隨語料規模成長。

主要結果

26 項真實雙臂任務，每項 20 次試驗：加入 LingBot-Touch token 後，Diffusion Policy 21.6% → 35.6%、π0.5 48.1% → 69.9%、LingBot-VLA 48.3% → 73.1%、T-Rex 45.4% → 68.6%。
在 XHand1（預訓練中未見過的感測器）上，這些 token 讓四種策略提升 13.8–24.5 個百分點，而原始訊號讓成功率變化 −1.7 到 +4.6 個百分點。
在 Sharpa Wave 上的凍結編碼器探測：力誤差 0.81 N、接觸中心誤差 0.12 mm、觸覺到影片的 top-5 召回率 72.6%，相較於 FTP-1 的 2.31 N、2.19 mm 與 16.5%。
在未見過的 XHand1 上：1.32 N、0.16 mm 與 47.1% 的召回率，相較於搭配特定感測器轉接器之 FTP-1 的 3.72 N、5.89 mm 與 6.0%。
在 12 項任務上的模擬 PPO：使用 LingBot-Touch 特徵時成功率為 69.0%，相較於任務訓練的 CNN 45.6%、原始訊號 38.5%、二元接觸 30.3% 與無觸覺 21.4%。
LingBot-VLA 在五項 Sharpa Wave 任務上：無觸覺 55.9%，使用 FTP-1 編碼器 67.5%，使用 LingBot-Touch 82.2%。

限制

作者表示，真實世界與模擬實驗都需要更多樣的手部形態。
作者指出，預訓練中沒有電容式感測器，因為現有的電容式紀錄未達到其品質要求。
作者指出，標準幾何與預訓練配置只涵蓋指尖，使手掌與手指其他部位的接觸代表性不足。
在相同時數下，與單一來源模型相比，匯集多種感測器會損失一些空間精度。
在 104 個任務-策略組合中，有 9 個組合的 token 結果低於原始訊號配置，有 5 個低於原本的策略。

對領域的影響

在 Hugging Face 每日論文上獲得 98 個讚，名列該平台過去六個月機器人論文的前 5%。論文表示將釋出推論程式碼、一小組觸覺紀錄樣本，以及以約 5,000 小時資料預訓練的 Tiny 與 Small 檢查點，並列出一個 GitHub 儲存庫與一個 Hugging Face 檢查點集合。

摘要

觸覺感測是接觸豐富的靈巧操作中不可或缺的模態，而這種能力指向具身 AI 的終極前沿。然而，市售觸覺感測器仍處於相對早期的發展階段，每種感測器都有無可取代的優勢，也有其自身的缺點。因此，一項關鍵挑戰是讓觸覺理解擺脫特定感測器的物理特性，使具身模型能有效運用異質的觸覺資料。為此，我們開發了 LingBot-Touch，一個具備下列特性的觸覺基礎模型。(i) 我們的模型在不同的觸覺感測器（即壓阻式、磁性與視觸覺感測器）之間產生統一的表徵，並能輕易擴展到新的感測器類型。(ii) 所得的觸覺 token 隨插即用：它們能無縫整合到各種範式的策略模型中，從 Diffusion Policy 到 π0.5 與 LingBot-VLA 等視覺-語言-動作（VLA）模型，並持續提升操作的靈巧度。(iii) 涵蓋模擬與多個硬體平台上真實機器人部署的大量實驗顯示，我們的觸覺表徵在維持高運算效率的同時，大幅有益於複雜的操作任務。我們相信，本研究的發現展現了運用跨感測器資料擴展觸覺學習的潛力，並為未來硬體與具身模型的設計提供了令人振奮的啟示。

連結

arXiv 2611.12806: https://arxiv.org/abs/2611.12806
PDF: https://arxiv.org/pdf/2611.12806v1
程式碼: https://github.com/robbyant/lingbot-touch
專案頁面: https://technology.robbyant.com/lingbot-touch