Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

著者: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

JEPA で訓練したエンコーダが、ピエゾ抵抗式、磁気式、視触覚のセンサを 1 つの指先空間にまとめる。凍結したままで、26 の実タスクで 4 つの方策を 13.9–24.8 ポイント押し上げ、未見のセンサでも機能する。

重要な理由

エンコーダは凍結したまま、そのトークンを既存の方策に加える（試した 3 つの VLA ではパラメータの増加は 0.13–0.16%）ため、エンコーダを再訓練せずに Diffusion Policy や VLA に触覚を加えられる。事前学習に含まれていない磁気式ハンド XHand1 にも、パラメータを一切更新せずに転移した。

課題

市販の触覚センサ（ピエゾ抵抗式、磁気式、視触覚）は、それぞれチャネル、配置、解像度、サンプリングレートが異なるため、あるセンサのデータで別のセンサ用のモデルを訓練することはできない。大規模に集約された触覚コーパスも共有された表現もなく、ほとんどのロボットはいまだに視覚だけでマニピュレーションを行っている。

提案手法

LingBot-Touch は、すべてのセンサのタクセル（taxel）を正準的な指先座標空間に置き、回転埋め込みで符号化した 5 次元のトークンアドレス（時刻、指、3D 位置）を与え、モダリティごとの小さな MLP トークナイザと共有の Haptic Transformer を用いる。訓練には Tactile-JEPA を用い、80% の空間マスク、40% から 80% へのマスクのウォームアップ、配置の拡張のもとで、マスクしたタクセルの表現を潜在空間で予測する。事前学習には、人の触覚グローブと、Sharpa Wave ハンドを備えたテレオペレーションの双腕ロボットから得た 4,983 時間（464,431 エピソード、約 13.3 億フレーム）のデータを用いる。

主な知見

  • 生の触覚入力が方策に与える効果は、学習したトークンの最大でも約半分であり、104 のタスクと方策の組のうち 22 ではむしろ悪化させる。
  • 潜在空間での予測はデータとともに伸びるが、再構成はそうではない。VAE は 1K 時間から 4K 時間で悪化した（接触中心の誤差 3.03 → 4.08 mm）一方、LingBot-Touch は 5 つのプローブすべてで改善した。
  • 力とダイナミクスはセンシング原理をまたいで転移するが、空間的な精度はセンサ自身の配置に依存する。1,000 時間の固定予算では、単一ソースのモデルが 8 組中 7 組で自らのセンサにおいて勝る。
  • マスキングは疎な信号に合わせる必要がある。80% のマスクは 90% より良く、比率を 40% から徐々に上げるウォームアップで勾配爆発を避けられた。
  • Tiny モデル（5.46M）は 4K 時間付近で頭打ちになる一方、Small（21.76M）は 5K まで改善し続けるため、モデル容量はコーパスとともに大きくする必要がある。

主な結果

  • 26 の実機双腕タスク、各 20 試行：LingBot-Touch のトークンを加えると、Diffusion Policy 21.6% → 35.6%、π0.5 48.1% → 69.9%、LingBot-VLA 48.3% → 73.1%、T-Rex 45.4% → 68.6%。
  • XHand1（事前学習で未見のセンサ）では、トークンが 4 つの方策で 13.8–24.5 ポイント上乗せする一方、生の信号による成功率の変化は −1.7 から +4.6 ポイントだった。
  • Sharpa Wave での凍結エンコーダのプロービング：力の誤差 0.81 N、接触中心の誤差 0.12 mm、触覚から動画への top-5 再現率 72.6%。FTP-1 は 2.31 N、2.19 mm、16.5%。
  • 未見の XHand1 では 1.32 N、0.16 mm、再現率 47.1%。センサ固有のアダプタを付けた FTP-1 は 3.72 N、5.89 mm、6.0%。
  • 12 タスクでのシミュレーション上の PPO：LingBot-Touch の特徴で成功率 69.0%、タスクで訓練した CNN は 45.6%、生の信号は 38.5%、二値の接触は 30.3%、触覚なしは 21.4%。
  • Sharpa Wave の 5 タスクでの LingBot-VLA：触覚なしで 55.9%、FTP-1 エンコーダで 67.5%、LingBot-Touch で 82.2%。

制限事項

  • 著者らは、実世界とシミュレーションの実験には、より多様なハンドの機体が必要だと述べている。
  • 著者らは、入手できた静電容量式の記録が品質要件を満たさなかったため、事前学習に静電容量式センサが含まれていないと指摘している。
  • 著者らは、正準的な幾何と事前学習の配置が指先しかカバーしておらず、手のひらや、指先以外の指の部分の接触が十分に表現されていないと指摘している。
  • 同じ時間数のデータでは、センサを集約すると単一ソースのモデルに比べて空間的な精度がいくらか下がる。
  • 104 のタスクと方策の組のうち 9 組でトークンは生の信号の構成を下回り、5 組で元の方策を下回る。

分野への影響

Hugging Face の daily papers で 98 件の賛成票を集め、同サイトの過去 6 か月のロボティクス論文の上位 5% に入った。論文は、推論コード、少数の触覚記録サンプル、約 5,000 時間で事前学習した Tiny と Small のチェックポイントを公開するとしており、GitHub リポジトリと Hugging Face のチェックポイントコレクションを挙げている。

概要

触覚センシングは接触の多い巧緻操作に不可欠なモダリティであり、この能力は身体性 AI の究極のフロンティアを示唆している。しかし、市販の触覚センサはまだ比較的初期の発展段階にあり、センサの種類ごとにかけがえのない長所と固有の短所がある。したがって重要な課題は、触覚の理解をセンサ固有の物理から解き放ち、身体性モデルが異種の触覚データを効果的に活用できるようにすることである。そのために我々は、次の特性をもつ触覚基盤モデル LingBot-Touch を開発した。(i) 我々のモデルは、異なる触覚センサ（すなわちピエゾ抵抗式、磁気式、視触覚センサ）にわたって統一された表現を生成し、新しいセンサの種類にも容易に拡張できる。(ii) 得られる触覚トークンはプラグアンドプレイであり、Diffusion Policy から π0.5 や LingBot-VLA のような Vision-Language-Action（VLA）モデルまで、さまざまなパラダイムの方策モデルにシームレスに統合でき、マニピュレーションの巧緻性を一貫して高める。(iii) シミュレーションと複数のハードウェアプラットフォームでの実機展開にわたる広範な実験により、我々の触覚表現が高い計算効率を保ちながら複雑なマニピュレーションタスクに大きく貢献することを示す。本研究の知見は、センサ横断のデータを活用して触覚学習をスケールさせる可能性を示し、将来のハードウェアと身体性モデルの設計に心強い示唆を与えるものと我々は考えている。

リンク

  • arXiv 2611.12806: https://arxiv.org/abs/2611.12806
  • PDF: https://arxiv.org/pdf/2611.12806v1
  • コード: https://github.com/robbyant/lingbot-touch
  • プロジェクトページ: https://technology.robbyant.com/lingbot-touch

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。