DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

저자: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

손마다 맞춘 착용형 외골격과 로봇 손 인페인팅이 인간 손 시연을 로봇 손 학습 데이터로 바꾸며, 두 가지 손에서 네 가지 실제 작업에 걸쳐 평균 86%의 성공률을 보인다.

중요한 이유

시연은 로봇 없이 기록되고, 조작자는 실제 접촉을 느끼며, 외골격은 대상 손이 재현할 수 있는 동작만 허용한다. 찻잎 집기 작업에서 이 방식은 원격 조작보다 3.2배 빠르게 성공 시연을 수집했으며, 같은 접근법이 저구동 손(Inspire)과 완전 구동 손(XHand)에서 모두 작동했다.

문제

인간의 손에서 로봇 손으로 기술을 전이하는 것은 어렵다. 두 손은 기구학적 구조, 접촉면 형상, 이용 가능한 촉각 정보, 시각적 외형이 다르고, 상용 로봇 손은 자유도, 모터 범위, 구동 방식이 크게 다르기 때문이다. 흔히 쓰이는 인터페이스인 원격 조작은 공간 관측 불일치 문제가 있고 직접적인 햅틱 피드백을 주지 않으며, 손가락 끝 리타깃팅은 엄지의 유연성 같은 형태적 차이에 어려움을 겪는다.

제안 방법

DexUMI는 하드웨어 계층과 소프트웨어 계층을 추가한다. 하드웨어 계층은 대상 손마다 이중 수준 최적화로 설계된 3D 프린팅 외골격으로, 착용 가능성을 유지하면서 손가락 끝 작업 공간을 로봇 손의 것과 맞춘다. 이 외골격은 저항식 엔코더로 관절 각도를, ARKit를 실행하는 iPhone으로 손목 자세를, 손목 아래의 150° 광각 카메라로 이미지를, 로봇 손과 같은 촉각 센서로 촉각을 기록한다. 소프트웨어 계층은 SAM2로 비디오에서 손과 외골격을 제거하고, ProPainter로 배경을 채운 뒤, 같은 관절 행동을 재생하는 실제 로봇 손의 영상을 가림 관계를 유지한 채 합성한다. 그 결과로 DINOv2 이미지 인코더를 갖춘 확산 정책을 학습시킨다.

핵심 통찰

• 외골격의 손가락 끝 작업 공간을 인간의 손이 아니라 로봇 손에 맞추면 기록된 관절 행동을 그대로 실행할 수 있다. 최적화는 엄지 스윙 관절을 손목 쪽으로 옮겨 인간의 엄지와 충돌하지 않게 한다.
• Table 1의 모든 작업에서 상대 손가락 행동이 절대 손가락 행동을 이겼다. 저자들은 이를 더 단순한 단봉 행동 분포와, 델타 행동이 접촉할 때까지 계속 누적되는 반응적 거동 덕분으로 본다.
• 비디오에 로봇 손을 인페인팅하는 것은 필수적이다. Inspire 손에서 계란판 작업 성공률은 인페인팅을 사용하면 0.90, 손 위에 녹색 마스크를 씌우면 0.10, 외골격 원본 이미지를 쓰면 0.05였다.
• 촉각 입력은 측정값이 깨끗하고 시야가 가려진 경우에만 도움이 되었다(XHand 소금 집기: 촉각 사용 시 0.75, 미사용 시 0.15). 센서에 노이즈나 드리프트가 있으면 다른 작업 대부분에서 성공률을 떨어뜨렸다.
• 외골격과 로봇 손에 같은 종류의 촉각 센서와 같은 손목 카메라 자세를 사용하면 데이터 수집과 배치 사이에 관측이 일관되게 유지된다.

주요 결과

• 두 로봇 손에서 네 가지 실제 작업에 걸친 평균 작업 성공률 86%.
• Inspire 손, 촉각과 인페인팅을 사용한 상대 손가락 행동(단계별 누적 성공률, 작업당 20 에피소드): Cube 1.00, Egg Carton 0.85, Tea 도구 파지 1.00 및 잎 옮기기 0.85.
• XHand, 같은 구성: Tea 도구 파지 1.00 및 잎 옮기기 0.85, Kitchen 손잡이 0.95, 팬 0.95, 소금 0.75.
• 촉각을 사용한 절대 손가락 행동은 여러 단계에서 실패했다. 예를 들어 Inspire 손의 Cube 0.10, XHand의 Kitchen 소금 0.00이다.
• 찻잎 집기에서 15분 세션 단위의 데이터 수집: 원격 조작의 3.2배 처리량이지만 맨손보다는 느렸다(Fig. 7은 성공 시연 51, 36, 11개를 보여 준다).
• 학습 데이터: Cube 궤적 310개, Egg Carton 175개, Tea 400개(손마다), Kitchen 370개와 손잡이 전용 궤적 100개.

한계

• 외골격 설계는 특히 착용성 측면에서 여전히 하드웨어별 조정이 필요하며, 손가락 끝 작업 공간만 맞춰진다. 손바닥 같은 다른 접촉 형상은 모델링되지 않는다.
• 촉각 센서는 신뢰할 수 없었다. Inspire 손에 추가한 저항식 센서는 부착 방식에 민감했고, XHand의 전자기식 센서는 높은 압력 이후 드리프트가 생겼는데, 인간의 손이 로봇보다 더 큰 힘을 가하기 때문에 이런 일이 자주 발생했다.
• 3D 프린팅된 PLA-CF 외골격은 엔코더가 감지하지 못한 채 손의 힘에 의해 변형될 수 있으며, 사용자가 일부 손가락을 완전히 펴지 못할 수 있다.
• 소프트웨어 계층은 손 이미지를 기록하기 위해 여전히 실제 로봇 손이 필요하고, 조명을 완전히 재현하지 못하며, 인페인팅된 일부 영역이 흐릿하게 남고, 카메라가 손에 단단히 고정되어야 한다.
• 두 상용 손 모두 백래시와 마찰이 있어, 엔코더-모터 회귀는 한 방향(펴기 또는 쥐기)에서만 정확하다. XHand의 모터 명령과 손가락 끝 위치 사이의 매핑도 시간이 지나거나 재부팅 후에 바뀐다.

분야에 미친 영향

DexUMI는 CoRL 2025 수상 후보작(Best Paper / Best Student Paper)이었으며 인용 횟수는 184회이다. 논문은 독자에게 프로젝트 웹사이트 dex-umi.github.io를 안내하지만, 논문 본문 자체에는 코드나 하드웨어 설계 공개가 명시되어 있지 않다.

초록

우리는 인간의 손을 자연스러운 인터페이스로 사용하여 정교한 매니퓰레이션 기술을 다양한 로봇 손으로 전이하는 데이터 수집 및 정책 학습 프레임워크인 DexUMI를 제시한다. DexUMI는 인간의 손과 다양한 로봇 손 사이의 구현체 격차를 최소화하기 위한 하드웨어 및 소프트웨어 적응을 포함한다. 하드웨어 적응은 착용형 손 외골격을 사용하여 기구학적 격차를 메운다. 이는 매니퓰레이션 데이터 수집 중 직접적인 햅틱 피드백을 가능하게 하고, 인간의 동작을 로봇 손이 수행 가능한 동작으로 맞춘다. 소프트웨어 적응은 비디오 데이터 속 인간의 손을 고충실도 로봇 손 인페인팅으로 대체하여 시각적 격차를 메운다. 우리는 서로 다른 두 가지 정교한 로봇 손 하드웨어 플랫폼에서 수행한 포괄적인 실제 실험을 통해 DexUMI의 능력을 입증하며, 평균 작업 성공률 86%를 달성한다.

링크

• arXiv 2505.21864: https://arxiv.org/abs/2505.21864
• DOI 10.48550/arXiv.2505.21864: https://doi.org/10.48550/arXiv.2505.21864
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/xu25b/xu25b.pdf
• 프로젝트 페이지: https://dex-umi.github.io/