Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

著者: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ハンドごとの装着型エクソスケルトンとロボットハンドのインペインティングにより、人間の手によるデモンストレーションをロボットハンドの学習データに変換し、2 種類のハンドでの四つの実タスクで平均成功率 86% を得る。

重要な理由

デモンストレーションはロボットがその場になくても記録でき、操作者は実際の接触を感じ取れ、エクソスケルトンは対象のハンドが再現できる動きしか許さない。茶摘みのタスクでは、遠隔操作より 3.2 倍速く成功デモンストレーションを収集でき、同じ手法が劣駆動ハンド（Inspire）と完全駆動ハンド（XHand）の両方で機能した。

課題

人間の手からロボットハンドへのスキルの転移が難しいのは、両者の運動学的構造、接触面の形状、得られる触覚情報、見た目が異なり、さらに市販のロボットハンドが自由度、モーターの可動範囲、駆動方式の点で大きく異なるためである。一般的なインターフェースである遠隔操作は空間的な観測の不一致に悩まされ、直接的な触覚フィードバックもなく、指先のリターゲティングは親指の柔軟性のような形態的な違いへの対処に苦労する。

提案手法

DexUMI はハードウェア層とソフトウェア層を加える。ハードウェア層は、装着性を保ちながら指先の作業領域をロボットハンドのものに合わせる二段階最適化によって、対象のハンドごとに設計された 3D プリントのエクソスケルトンである。抵抗式エンコーダで関節角度を、ARKit を実行する iPhone で手首の姿勢を、手首の下にある 150° の広角カメラで画像を、ロボットハンドと同じ触覚センサーで触覚を記録する。ソフトウェア層は、SAM2 で動画から手とエクソスケルトンを除去し、ProPainter で背景を埋め、同じ関節動作を再生する実際のロボットハンドの映像を、遮蔽関係を保ったまま合成する。その結果を用いて、DINOv2 画像エンコーダを備えた拡散ポリシーが学習される。

主な知見

  • エクソスケルトンの指先の作業領域を人間の手ではなくロボットハンドに合わせることで、記録した関節動作をそのまま実行できる。最適化により、親指のスイング関節は人間の親指と衝突しないよう手首側に後退させられる。
  • Table 1 のすべてのタスクで、相対的な指の行動が絶対的な指の行動を上回った。著者らはこれを、より単純な単峰性の行動分布と、差分行動が接触まで積み重なり続ける反応的な振る舞いによるものとしている。
  • 動画にロボットハンドをインペインティングすることは不可欠である。Inspire ハンドでは、egg-carton の成功率はインペインティングありで 0.90、手を緑色のマスクで覆った場合は 0.10、エクソスケルトンの生画像では 0.05 であった。
  • 触覚入力が役立ったのは、読み取り値がきれいで視覚が遮られている場合のみであった（XHand の塩取り：触覚ありで 0.75、なしで 0.15）。センサーにノイズやドリフトがある場合、他のほとんどのタスクで成功率を下げた。
  • エクソスケルトンとロボットハンドで同じ種類の触覚センサーと同じ手首カメラの姿勢を用いることで、データ収集時と展開時の観測の一貫性を保つ。

主な結果

  • 2 種類のロボットハンドでの四つの実世界タスクにおける平均タスク成功率は 86%。
  • Inspire ハンド、触覚とインペインティングを用いた相対的な指の行動（段階ごとの累積成功率、タスクあたり 20 エピソード）：Cube 1.00、Egg Carton 0.85、Tea の道具の把持 1.00、葉の移し替え 0.85。
  • XHand、同じ構成：Tea の道具の把持 1.00、葉の移し替え 0.85。Kitchen のノブ 0.95、鍋 0.95、塩 0.75。
  • 触覚を用いた絶対的な指の行動はいくつかの段階で失敗した。例えば Inspire ハンドの Cube で 0.10、XHand の Kitchen の塩で 0.00。
  • 茶摘みでの 15 分間のセッションによるデータ収集：スループットは遠隔操作の 3.2 倍だが、素手よりは遅い（Fig. 7 では成功デモンストレーション数が 51、36、11 と示されている）。
  • 学習データ：Cube は 310 本、Egg Carton は 175 本、Tea は（ハンドごとに）400 本の軌道、Kitchen は 370 本とノブのみの 100 本の軌道。

制限事項

  • エクソスケルトンの設計には、特に装着性について依然としてハードウェア固有の調整が必要であり、合わせているのは指先の作業領域のみで、手のひらなど他の接触形状はモデル化されていない。
  • 触覚センサーは信頼性が低かった。Inspire ハンドに追加した抵抗式センサーは取り付け方に敏感であり、XHand の電磁式センサーは高い圧力の後にドリフトした。人間の手はロボットより大きな力を加えるため、それは頻繁に起きた。
  • 3D プリントの PLA-CF 製エクソスケルトンは、エンコーダが検知しないまま手の力で変形することがあり、ユーザーが一部の指を完全に伸ばせない場合もある。
  • ソフトウェア層には依然としてハンド画像を記録するための実際のロボットハンドが必要であり、照明を完全には再現できず、インペインティングした領域の一部がぼやけ、カメラをハンドに剛に固定する必要がある。
  • どちらの市販ハンドにもバックラッシと摩擦があるため、エンコーダからモーターへの回帰は一方向（開くか閉じるか）でしか正確でない。XHand のモーター指令と指先位置との対応も、時間の経過や再起動の後にずれる。

分野への影響

DexUMI は CoRL 2025 の賞（Best Paper / Best Student Paper）のファイナリストであり、被引用数は 184 である。論文は読者をプロジェクトウェブサイト dex-umi.github.io に案内しているが、論文本文自体にはコードやハードウェア設計の公開についての記載はない。

概要

我々は、人間の手を自然なインターフェースとして用い、器用なマニピュレーションのスキルをさまざまなロボットハンドに転移する、データ収集とポリシー学習のフレームワーク DexUMI を提示する。DexUMI は、人間の手とさまざまなロボットハンドとの間のエンボディメントのギャップを最小化するための、ハードウェアとソフトウェアの適応を含む。ハードウェアの適応は、装着型のハンドエクソスケルトンを用いて運動学的なギャップを埋める。これにより、マニピュレーションのデータ収集において直接的な触覚フィードバックが得られ、人間の動きがロボットハンドで実現可能な動きに適合される。ソフトウェアの適応は、動画データ中の人間の手を高忠実度のロボットハンドのインペインティングで置き換えることで、視覚的なギャップを埋める。二つの異なる器用なロボットハンドのハードウェアプラットフォームでの包括的な実世界実験を通じて DexUMI の能力を示し、平均タスク成功率 86% を達成する。

リンク

  • arXiv 2505.21864: https://arxiv.org/abs/2505.21864
  • DOI 10.48550/arXiv.2505.21864: https://doi.org/10.48550/arXiv.2505.21864
  • PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/xu25b/xu25b.pdf
  • プロジェクトページ: https://dex-umi.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。