Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

著者: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

PolyTouch はカメラ式の触覚、コンタクトマイク、周辺視野を一本の耐久性のある指に収める。それを用いた触覚 Diffusion Policy は、4 つの双腕タスクで視覚と固有受容感覚のポリシーを上回る。

重要な理由

接触の多い使用に長時間耐え、成形設備なしで作れる触覚指があれば、学習ポリシーが必要とする規模でロボット上の触覚データを集めることが現実的になる。4 つのテストタスクは触覚センシングのために選んだものではない一般的な双腕タスクで、触覚なしで見られた力に関する失敗、例えばレンチを強く押しすぎる、フライ返しを弱く押しすぎるといったことは、触覚入力ありでは起きなかった。

課題

外部の視覚と固有受容感覚だけに頼るポリシーは、オクルージョン、乱雑なあるいは見えにくい物体、接触力の精密な調整を要するタスクに苦戦する。カメラ式の触覚センサーは高い空間分解能をもつが、通常は 100 Hz 未満で動作し、摩耗、裂け、剥離で劣化し、製作に専用の設備を必要とし、センシング面積が大きくなるとかさばる。

提案手法

PolyTouch は、カメラ式の触覚面（450 nm の青色 LED と蛍光塗料で照らしたエラストマーを、IMX708 カメラが曲面鏡越しに見る）、48 kHz の圧電式コンタクトマイク、2 つの側面の窓を通した周辺視野を組み合わせたロボット指で、データは転用した 1 本の HDMI ケーブルで Raspberry Pi へストリーミングされる。標準のエラストマーは透明な 3M VHB テープにアルミフレークを擦り込み、3M Soft & Stretch テープで覆ったもので、交換用にスライドして取り出せるカートリッジに収める。シリコーンの選択肢では XP-565 ゴムを使う。触覚 Diffusion Policy は、触覚画像と周辺画像を事前学習済みの T3 エンコーダで、手首とシーンの画像を CLIP で、音声を Audio Spectrogram Transformer で、固有受容感覚を MLP で符号化し、それらをクロスアテンションで融合して、U-Net による Diffusion Policy で行動を予測する。

主な知見

  • エラストマーとして粘着性の VHB テープを使うと、シリコーンゲルの剥離の問題がほぼ完全になくなり、VHB エラストマー 1 個を経験のない人が 5 分未満で作れる。
  • 力の過不足（レンチを挿し込むときに強く押しすぎる、すくうときにフライ返しを十分に押さない）は視覚と固有受容感覚のポリシーでのみ起き、触覚を含むどちらのポリシーでも起きなかった。
  • 不正確な把持は visuo-proprio ポリシーで 11 回見られたのに対し、触覚を含むポリシーでは平均 3 回だった。著者らはこれを把持中の近接した周辺視野によるものとしている。
  • モダリティが増えるとより多くのデータが必要になる可能性がある。卵を盛り付けるポリシーをデータの 1/3 または 2/3 で訓練すると visuo-proprio ポリシーに対する向上幅が縮み、著者らはこれをモデルサイズの大きさと関連づけている。

主な結果

  • 模擬的な道具使用での耐久性（フライ返しの柄を 10 から 30 N で把持し、ランダムな 6D の擦りを連続）：PolyTouch-VHB は 35 h、故障も画質の低下もなく動作した。標準の GelSight Mini のゲル 2 個は 1.0 h（ゲルの裂け）と 3.3 h（塗料の剥がれ）、GelSight Mini に取り付けた特製の XP-565 ゲルは 25.0 h もった。要旨と序論はこれを市販センサーに対して寿命が少なくとも 20 倍に延びたと述べている。
  • 推定コストは指 1 本あたり約 61 USD で、主に既製の材料から専用設備なしで作られる。
  • 全データを用いた Serve Egg：平均タスク進捗は 81%（visuo-proprio）、88%（multi-concate）、100%（multi-crossatn）、平均タスク成功率は 66%、73%、100%。
  • 他のタスクの平均タスク成功率（visuo-proprio / multi-concate / multi-crossatn）：Insert Wrench 0% / 20% / 18%、Sort Fruit 33% / 46% / 46%、Crack Egg 50% / 53% / 54%。
  • ブラックベリーとブルーベリーの仕分けは、触覚を含むポリシーで 80% 成功したのに対し、visuo-proprio ポリシーでは 20% だった。
  • Serve Egg における multi-crossatn の visuo-proprio に対する進捗の向上：全データで 19%、2/3 で 3%、1/3 で 7%。成功率の向上は全データで 34%、2/3 で 20%。

制限事項

  • 粘弾性のアクリルフォームである VHB テープは接触後の回復が遅く、このヒステリシスが動的なタスクで応答の遅れや曖昧さを生むことがある。著者らは時間差分画像、周辺視野との照合、あるいは粘性の低い材料を提案している（記載された限界）。
  • 多モーダルなポリシーは、その利点を十分に示すにはより多くのデータを必要とするようで、モデルが大きいためかもしれない（著者らの記載）。
  • 訓練セットは小さく、タスクあたり約 70 から 200 件のデモで、論文は表の各項目が何回の評価実行に基づくかを示していない。
  • 寿命の比較は、模擬的な道具使用の設定 1 つと市販センサーの 1 系列（GelSight Mini）のみを用いている。
  • シリコーンのエラストマーは VHB より応答が速いが、他のシリコーンセンサーと同じ製作工程を必要とする。

分野への影響

IEEE ICRA 2025 Best Paper Award in Field and Service Robotics を受賞。被引用数は 53。論文は指の部品表（指 1 本あたり推定 61 USD）と製作手順を示し、プロジェクトページを案内しているが、コードや設計ファイルへのリンクはない。

概要

構造化されていない家庭環境で頑健な巧緻操作を実現することは、ロボット工学における依然として大きな課題である。最先端のロボット学習手法を用いても、触覚を考慮しない制御戦略（すなわち外部の視覚および/または固有受容感覚のみに頼るもの）は、オクルージョン、視覚的な複雑さ、精密な接触インタラクション制御の必要性のために、しばしば不十分となる。こうした限界に対処するため、我々は PolyTouch を紹介する。これは、カメラ式の触覚センシング、音響センシング、周辺視覚センシングを、コンパクトで耐久性のある一つの設計に統合した新しいロボット指である。PolyTouch は複数の時間スケールにわたって高解像度の触覚フィードバックを提供し、これは複雑な操作タスクを効率よく学習するうえで不可欠である。実験では、市販の触覚センサーに比べて寿命が少なくとも 20 倍に延びることが示され、設計は製造しやすくスケーラブルである。次に、この多モーダルな触覚フィードバックを視覚と固有受容感覚の観測とともに用いて、人間のデモから触覚 Diffusion Policy を合成する。得られた接触を考慮した制御ポリシーは、複数の接触を考慮した操作ポリシーにおいて、触覚を考慮しないポリシーを大きく上回る。本論文は、多モーダルな接触センシングを効果的に統合することで、有効な接触考慮型の操作ポリシーの開発をいかに加速できるかを示し、より信頼性が高く汎用的な家庭用ロボットへの道を開く。詳しい情報は https://polytouch.alanz.info/ にある。

リンク

  • arXiv 2504.19341: https://arxiv.org/abs/2504.19341
  • DOI 10.1109/ICRA55743.2025.11128816: https://doi.org/10.1109/ICRA55743.2025.11128816
  • PDF: https://arxiv.org/pdf/2504.19341v1
  • プロジェクトページ: https://polytouch.alanz.info/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。