Camera-Based Tactile Sensor

• 別名: vision-based tactile sensor, optical tactile sensor, visuotactile sensor
• カテゴリ: Sensing › Contact & force
• タグ: tactile-sensing, manipulation, elastomer, computer-vision, grippers

柔らかいエラストマー皮膚（多くはコーティングやマーカー付き）の内側をカメラで撮像し、接触の形状と動きを高解像度の画像に変える触覚センサー。

定義

カメラ式の触覚センサー（camera-based tactile sensor）は、ビジョンベースまたは光学式の触覚センサーとも呼ばれ、変形する接触面を裏側から撮像して触覚を計測する。典型的な設計では、薄い不透明または反射性のコーティングを施すことが多い柔らかいエラストマーのパッドを、1 つ以上の側面から LED で照らし、剛性のある透明な支持体越しに小型カメラで観察する。物体がパッドに押し込まれると、コーティングが物体の局所的な形状をなぞり、カメラは陰影の変化をとらえる。ほかの設計では、印刷または埋め込んだマーカーを追跡してその変位からせん断と滑りを読み取ったり、TacTip ファミリーのように皮膚の内側に成形したピンを撮像したりする。

出力が画像であるため、これらのセンサーは個別の感知素子、すなわちタクセル（taxel）を並べたアレイよりはるかに高い空間分解能をもつ。異なる色の光源を使う照度差ステレオで接触の深度マップを再構成でき、Johnson と Adelson が MIT で行った retrographic sensing の研究から生まれた GelSight センサーがその例である。マーカー追跡でせん断場と滑りの始まりを推定でき、学習したモデルで画像から直接、接触力、物体の位置姿勢、テクスチャを推定することもできる。DIGIT のように公開された設計や、GelSlim のようにグリッパーの指に組み込んだ薄型版によって、これらのセンサーはマニピュレーション研究で一般的になった。

カメラ式のセンサーは触覚センサーの一種であり、抵抗式、静電容量式、圧電式のアレイとは重要な点で異なる。カメラと光学系のためにかさばり、小さな指先や曲面の指先に収めにくい。帯域幅はカメラのフレームレートで制限されるので、高周波の振動には別のセンシングが必要である。エラストマーは摩耗し、裂け、温度で剛性が変わるため、ゲルとコーティングは消耗部品であり、力の推定はドリフトしうるキャリブレーションに依存する。データレートもスカラーセンサーよりはるかに高く、これは実時間制御や学習のパイプラインにとって重要である。

重要な理由

手内での持ち替え、挿入、ケーブルに沿った操作、滑り検出など、多くのマニピュレーション技能は接触の正確な形状と動きを知ることに依存している。カメラ式の触覚センサーは安価な部品でその情報を画像の解像度で提供し、その画像出力はロボット学習で広く使われるビジョンベースの学習手法にそのまま組み込める。

主な用途

• 手内での位置姿勢推定と持ち替え
• 滑り検出と把持力の制御
• 挿入とケーブルやコネクタの操作
• テクスチャ、硬さ、材質の認識
• 学習したマニピュレーション方策への触覚入力
• 精密な位置合わせを要する接触の多い組立

実際の使われ方

ある研究室が、コネクタの挿入タスクのために、平行グリッパーの両方の指にカメラ式の触覚センサーを取り付ける。各セッションの前に接触のない参照画像を撮っておき、実行時には差分画像を計算して接触領域を切り出し、コネクタの縁の向きから手の中での角度を推定する。マーカーの変位場からコネクタが滑り始めた時点が分かり、それをきっかけに把持力を上げる。切り抜いてダウンサンプリングした触覚画像は、手首カメラの画像とともに学習した方策にも入力する。チームは予備のゲルパッドを用意し、交換のたびにキャリブレーションをやり直し、参照画像に裂けやコーティングの摩耗が出ていないかを見張る。

よくある誤解

• カメラ式の触覚センサーは力を直接計測する — 計測するのは変形とマーカーの動きであり、力はキャリブレーションや学習したモデルを通して推定しなければならない
• 触覚センサーとは別のカテゴリーである — 電気的な感知素子の代わりに光学を使う、触覚センサーの一種である
• 画像の解像度が高ければ応答も速い — 時間方向の帯域幅はカメラのフレームレートと処理で制限されるので、速い振動や衝撃には別のセンシングが必要である
• エラストマーの皮膚は恒久的な部品である — ゲルとコーティングは使ううちに摩耗し裂けるので定期的に交換し、その後キャリブレーションをやり直す

知っておくべき人

• マニピュレーションと器用なハンドの研究者
• グリッパーとエンドエフェクターの設計者
• マルチモーダル入力を扱うロボット学習エンジニア
• 触覚指先を作るハードウェアメイカー

関連技術

• GelSight
• DIGIT
• TacTip
• 照度差ステレオ（Photometric Stereo）
• シリコーンエラストマーの注型（Silicone Elastomer Casting）
• オプティカルフロー（Optical Flow）

関連用語

• Tactile Sensor
• Force-Sensitive Resistor
• Dexterous Manipulation
• RGB Camera
• Visuomotor Policy

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments