Camera-Based Tactile Sensor

• 又稱: vision-based tactile sensor, optical tactile sensor, visuotactile sensor
• 類別: Sensing › Contact & force
• 標籤: tactile-sensing, manipulation, elastomer, computer-vision, grippers

一種觸覺感測器：由攝影機對柔軟彈性體皮膚（通常帶有塗層或標記）的內側取像，把接觸的形狀與運動轉換成高解析度影像。

定義

以攝影機為基礎的觸覺感測器（camera-based tactile sensor），也稱為以視覺為基礎的觸覺感測器或光學觸覺感測器，是從背面對一個可變形的接觸表面取像來量測觸覺。典型的設計有一塊柔軟的彈性體墊，通常帶有一層薄的不透光或反光塗層，由從一側或多側照射的 LED 照明，並由一台小型攝影機透過剛性的透明支撐件觀察。當物體壓入墊子時，塗層會呈現物體的局部形狀，攝影機則看到明暗的變化。其他設計會追蹤印刷或嵌入的標記點，其位移可揭示剪切與滑移；或是對模塑在皮膚內側的針狀凸起取像，例如 TacTip 系列。

由於輸出是影像，這類感測器的空間解析度遠高於由離散感測元件（即觸覺單元，taxel）組成的陣列。使用不同顏色光源的光度立體法可以重建接觸的深度圖，例如源自 Johnson 與 Adelson 在 MIT 的逆反射感測（retrographic sensing）研究的 GelSight 感測器。標記點追蹤可以估計剪切場與滑移的起始，而學習模型可以直接從影像估計接觸力、物體姿態或紋理。DIGIT 等公開發表的設計，以及 GelSlim 等內建於夾爪手指中的輕薄版本，讓這類感測器在操作研究中變得很普遍。

以攝影機為基礎的感測器是觸覺感測器的一種，它們在幾個重要方面不同於電阻式、電容式與壓電式陣列。攝影機與光學元件讓它們較為笨重，較難裝進小型或彎曲的指尖，而且它們的頻寬受攝影機影格率限制，因此高頻振動需要其他感測手段。彈性體會磨耗、撕裂，剛性也會隨溫度改變，因此凝膠與塗層是消耗品，力的估計則仰賴可能漂移的校正。它們的資料速率也遠高於純量感測器，這對即時控制與學習流程很重要。

為何重要

許多操作技能，例如手內重新定位、插入作業、沿著纜線移動與滑移偵測，都仰賴掌握接觸的精確形狀與運動。以攝影機為基礎的觸覺感測器以便宜的元件、在影像解析度下提供這些資訊，而且它們的影像輸出能直接接入機器人學習中廣泛使用的以視覺為基礎的學習方法。

主要應用

• 手內姿態估計與重新抓取
• 滑移偵測與夾持力控制
• 插入作業以及纜線或連接器操作
• 紋理、硬度與材料辨識
• 為學習型操作策略提供觸覺輸入
• 需要精細對位的大量接觸組裝

實際應用

一間實驗室為平行夾爪的兩根手指都裝上以攝影機為基礎的觸覺感測器，用於連接器插入任務。每次實驗前，團隊擷取一張沒有接觸的參考影像，執行時計算差分影像以分割出接觸區域，並從連接器邊緣的方向估計它在手中的角度。標記點位移場會顯示連接器何時開始滑移，進而觸發加大夾持力。經過裁切與降取樣的觸覺影像也會與腕部攝影機影像一起輸入一個學習策略。團隊備有備用凝膠墊，每次更換後重新校正，並留意參考影像中是否出現撕裂或塗層磨耗。

常見誤解

• 以攝影機為基礎的觸覺感測器直接量測力 — 它們量測的是變形與標記點運動，力必須透過校正或學習模型推得
• 它們是與觸覺感測器分開的一個類別 — 它們是觸覺感測器的一種，以光學取代電學感測元件
• 影像解析度高就代表反應快 — 時間頻寬受攝影機影格率與處理的限制，因此快速振動與衝擊需要其他感測手段
• 彈性體皮膚是永久的零件 — 凝膠與塗層在使用中會磨耗與撕裂，需要定期更換，換完後還要重新校正

誰需要了解

• 操作與靈巧手研究人員
• 夾爪與末端執行器設計者
• 處理多模態輸入的機器人學習工程師
• 製作觸覺指尖的硬體創客

相關技術

• GelSight
• DIGIT
• TacTip
• 光度立體法（Photometric Stereo）
• 矽膠彈性體澆注（Silicone Elastomer Casting）
• 光流（Optical Flow）

相關術語

• Tactile Sensor
• Force-Sensitive Resistor
• Dexterous Manipulation
• RGB Camera
• Visuomotor Policy

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments