DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

作者: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

为每种手定制的可穿戴外骨骼加上机器人手图像修复，把人手示范转化为机器人手的训练数据，在两种手上的四项真实任务中平均成功率为 86%。

为何重要

录制示范时不需要机器人在场，操作者能感受到真实的接触，而外骨骼只允许目标手能够复现的动作。在采茶任务中，这种方式收集成功示范的速度是遥操作的 3.2 倍，而且同一方法既适用于欠驱动手（Inspire），也适用于全驱动手（XHand）。

问题

把技能从人手迁移到机器人手很难，因为两者在运动学结构、接触面形状、可获得的触觉信息和视觉外观上都不相同，而且商用机器人手在自由度、电机行程和驱动方式上差异很大。常用的接口遥操作存在空间观测失配的问题，也没有直接的触觉反馈；而指尖重定向则难以应对拇指灵活性等形态差异。

提出的方法

DexUMI 增加了一个硬件层和一个软件层。硬件层是一个 3D 打印的外骨骼，通过双层优化为每种目标手单独设计，使其指尖工作空间与机器人手相匹配，同时保持可穿戴；它用电阻式编码器记录关节角度，用运行 ARKit 的 iPhone 记录腕部位姿，用腕下一台 150° 广角相机拍摄图像，并用与机器人手相同的触觉传感器记录触觉。软件层用 SAM2 从视频中去除人手和外骨骼，用 ProPainter 填补背景，再合成真实机器人手重放相同关节动作的画面，同时保留遮挡关系；随后在合成结果上训练一个使用 DINOv2 图像编码器的扩散策略。

关键见解

• 让外骨骼的指尖工作空间与机器人手（而不是人手）相匹配，可以使录制的关节动作直接可执行；优化会把拇指摆动关节向手腕方向后移，以免与人的拇指发生碰撞。
• 在 Table 1 的每项任务上，相对手指动作都优于绝对手指动作；作者将此归因于更简单的单峰动作分布，以及增量动作会持续累积直至接触的反应式行为。
• 把机器人手修补进视频至关重要：在 Inspire 手上，egg-carton 任务使用图像修复时成功率为 0.90，在手上覆盖绿色掩码时为 0.10，使用原始外骨骼图像时为 0.05。
• 触觉输入只在读数干净且视觉被遮挡的情况下有帮助（XHand 取盐：有触觉 0.75，无触觉 0.15）；当传感器有噪声或漂移时，它在其他大多数任务上降低了成功率。
• 在外骨骼和机器人手上使用相同类型的触觉传感器和相同的腕部相机位姿，使数据收集与部署之间的观测保持一致。

主要结果

• 在两种机器人手上的四项真实世界任务中，平均任务成功率为 86%。
• Inspire 手，使用相对手指动作、触觉和图像修复（按阶段累计成功率，每项任务 20 个回合）：Cube 1.00，Egg Carton 0.85，Tea 的工具抓取 1.00、叶片转移 0.85。
• XHand，相同配置：Tea 的工具抓取 1.00、叶片转移 0.85；Kitchen 的旋钮 0.95、锅 0.95、盐 0.75。
• 使用绝对手指动作加触觉时，若干阶段失败，例如 Inspire 手上的 Cube 为 0.10，XHand 上的 Kitchen 取盐为 0.00。
• 在采茶任务上以 15 分钟为一节进行数据收集：吞吐量是遥操作的 3.2 倍，但比徒手慢（Fig. 7 显示成功示范数分别为 51、36 和 11）。
• 训练数据：Cube 为 310 条轨迹，Egg Carton 为 175 条，Tea 为 400 条（每种手），Kitchen 为 370 条加上 100 条仅含旋钮的轨迹。

局限

• 外骨骼设计仍需针对具体硬件进行调整，尤其是在可穿戴性方面；而且只匹配了指尖工作空间，手掌等其他接触几何没有建模。
• 触觉传感器不可靠：加装在 Inspire 手上的电阻式传感器对安装方式很敏感，XHand 的电磁式传感器在高压后会漂移，而这种情况经常发生，因为人手施加的力比机器人大。
• 3D 打印的 PLA-CF 外骨骼在手部用力时可能变形，而编码器无法察觉；用户也可能无法完全伸直某些手指。
• 软件层仍需要真实的机器人手来录制手部图像，不能完全复现光照，部分修复区域会模糊，并且要求相机刚性固定在手上。
• 两种商用手都存在背隙和摩擦，因此编码器到电机的回归只在一个方向（张开或闭合）上精确；XHand 的电机指令与指尖位置之间的映射也会随时间推移和重启而偏移。

对领域的影响

DexUMI 入围 CoRL 2025 奖项决选（最佳论文 / 最佳学生论文），被引用 184 次。论文请读者参阅其项目网站 dex-umi.github.io；论文正文本身没有说明会发布代码或硬件设计。

摘要

我们提出 DexUMI——一个数据收集与策略学习框架，它以人手作为自然接口，把灵巧操作技能迁移到各种机器人手上。DexUMI 包含硬件和软件两方面的适配，以尽量缩小人手与各种机器人手之间的本体差距。硬件适配利用可穿戴的手部外骨骼弥合运动学差距。它在操作数据收集中提供直接的触觉反馈，并把人的动作调整为机器人手可行的动作。软件适配通过高保真的机器人手图像修复，替换视频数据中的人手，从而弥合视觉差距。我们在两个不同的灵巧机器人手硬件平台上通过全面的真实世界实验展示了 DexUMI 的能力，平均任务成功率达到 86%。

链接

• arXiv 2505.21864: https://arxiv.org/abs/2505.21864
• DOI 10.48550/arXiv.2505.21864: https://doi.org/10.48550/arXiv.2505.21864
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/xu25b/xu25b.pdf
• 项目主页: https://dex-umi.github.io/