DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

作者: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

為每種手量身打造的可穿戴外骨骼，加上機器人手影像修補，把人手示範轉換為機器人手的訓練資料，在兩種手的四項真實任務中平均成功率為 86%。

為何重要

錄製示範時不需要機器人在場，操作者能感受到真實的接觸，而外骨骼只允許目標手能重現的動作。在採茶任務上，這種方式蒐集成功示範的速度是遠端操作的 3.2 倍，而且同樣的方法對欠驅動手（Inspire）與全驅動手（XHand）都有效。

問題

把技能從人手轉移到機器人手很困難，因為兩者在運動學結構、接觸面形狀、可取得的觸覺資訊與視覺外觀上都不同，而且商用機器人手在自由度、馬達行程與驅動方式上差異很大。常用的介面遠端操作有空間觀測不匹配的問題，也沒有直接的觸覺回饋；而指尖重定向則難以處理拇指靈活度等形態差異。

提出的方法

DexUMI 增加了一個硬體層與一個軟體層。硬體層是一個 3D 列印的外骨骼，以雙層最佳化為每種目標手個別設計，使其指尖工作範圍與機器人手相匹配，同時保持可穿戴；它以電阻式編碼器記錄關節角度，以執行 ARKit 的 iPhone 記錄手腕姿態，以手腕下方一台 150° 廣角相機拍攝影像，並以與機器人手相同的觸覺感測器記錄觸覺。軟體層以 SAM2 從影片中移除人手與外骨骼，以 ProPainter 填補背景，再合成真實機器人手重播相同關節動作的畫面，同時保留遮擋關係；接著以合成結果訓練一個使用 DINOv2 影像編碼器的擴散策略。

關鍵見解

• 讓外骨骼的指尖工作範圍與機器人手（而非人手）相匹配，可使錄製的關節動作直接可執行；最佳化會把拇指擺動關節往手腕方向後移，以免與人的拇指碰撞。
• 在 Table 1 的每項任務上，相對手指動作都勝過絕對手指動作；作者將此歸因於較簡單的單峰動作分布，以及增量動作會持續累積直到接觸為止的反應式行為。
• 把機器人手修補進影片至關重要：在 Inspire 手上，egg-carton 任務使用影像修補時成功率為 0.90，在手上覆蓋綠色遮罩時為 0.10，使用原始外骨骼影像時為 0.05。
• 觸覺輸入只在讀數乾淨且視覺被遮擋時有幫助（XHand 取鹽：有觸覺 0.75，無觸覺 0.15）；當感測器有雜訊或漂移時，它在其他大多數任務上反而降低了成功率。
• 在外骨骼與機器人手上使用相同類型的觸覺感測器與相同的手腕相機姿態，讓資料蒐集與部署之間的觀測保持一致。

主要結果

• 在兩種機器人手的四項真實世界任務中，平均任務成功率為 86%。
• Inspire 手，使用相對手指動作、觸覺與影像修補（依階段累計成功率，每項任務 20 個回合）：Cube 1.00，Egg Carton 0.85，Tea 的工具抓取 1.00、葉片移轉 0.85。
• XHand，相同配置：Tea 的工具抓取 1.00、葉片移轉 0.85；Kitchen 的旋鈕 0.95、鍋子 0.95、鹽 0.75。
• 使用絕對手指動作加觸覺時，數個階段失敗，例如 Inspire 手上的 Cube 為 0.10，XHand 上的 Kitchen 取鹽為 0.00。
• 在採茶任務上以 15 分鐘為一節蒐集資料：產出量是遠端操作的 3.2 倍，但比徒手慢（Fig. 7 顯示成功示範數分別為 51、36 與 11）。
• 訓練資料：Cube 為 310 條軌跡，Egg Carton 為 175 條，Tea 為 400 條（每種手），Kitchen 為 370 條再加上 100 條只含旋鈕的軌跡。

限制

• 外骨骼設計仍需針對特定硬體調整，尤其在可穿戴性方面；而且只匹配了指尖工作範圍，手掌等其他接觸幾何並未建模。
• 觸覺感測器不可靠：加裝在 Inspire 手上的電阻式感測器對安裝方式很敏感，XHand 的電磁式感測器在高壓後會漂移，而這種情況經常發生，因為人手施加的力比機器人大。
• 3D 列印的 PLA-CF 外骨骼在手部施力時可能變形，而編碼器偵測不到；使用者也可能無法完全伸直某些手指。
• 軟體層仍需要真實的機器人手來錄製手部影像，無法完全重現光照，部分修補區域會模糊，而且要求相機剛性固定在手上。
• 兩種商用手都有背隙與摩擦，因此編碼器到馬達的迴歸只在一個方向（張開或閉合）上準確；XHand 的馬達指令與指尖位置之間的對應關係，也會隨時間及重新開機而偏移。

對領域的影響

DexUMI 入圍 CoRL 2025 獎項決選（最佳論文 / 最佳學生論文），被引用 184 次。論文請讀者參閱其專案網站 dex-umi.github.io；論文內文本身沒有說明會釋出程式碼或硬體設計。

摘要

我們提出 DexUMI——一個資料蒐集與策略學習框架，以人手作為自然的介面，把靈巧操作技能轉移到各種機器人手上。DexUMI 包含硬體與軟體兩方面的調整，以盡量縮小人手與各種機器人手之間的形態差距。硬體調整利用可穿戴的手部外骨骼來彌合運動學差距。它在操作資料蒐集中提供直接的觸覺回饋，並把人的動作調整為機器人手可行的動作。軟體調整則以高擬真度的機器人手影像修補，取代影片資料中的人手，藉此彌合視覺差距。我們在兩個不同的靈巧機器人手硬體平台上，透過全面的真實世界實驗展示 DexUMI 的能力，平均任務成功率達到 86%。

連結

• arXiv 2505.21864: https://arxiv.org/abs/2505.21864
• DOI 10.48550/arXiv.2505.21864: https://doi.org/10.48550/arXiv.2505.21864
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/xu25b/xu25b.pdf
• 專案頁面: https://dex-umi.github.io/