wuji-mjlab
Wuji Hand에서 큐브 회전·펜 돌리기 손안 조작 정책을 학습하고 배포
라이선스
Apache-2.0
개요
wuji-mjlab은 Wuji Technology가 자사 로봇 손을 위해 공개한 손안 정밀 조작용 학습·배포 코드다. 정책은 MuJoCo 위에 만들어진 GPU 병렬 로봇 학습 프레임워크 mjlab에서 PPO로 학습되고, 카메라를 이용한 폐루프로 실제 손에서 실행된다. 두 가지 과제가 포함돼 있다. Cube Reorient는 손바닥을 위로 해서 쥔 큐브를 원하는 목표 자세로 돌려 그대로 유지하며, Wuji Hand와 Wuji Hand 2 모두를 지원한다. PenSpin은 Wuji Hand 2가 참조 동작을 따라가며 250mm 길이의 펜을 돌리게 하며, 손가락 관절 20개를 50Hz로 제어한다. 2026년 9월 릴리스에는 PyTorch와 ONNX 형식의 사전 학습 체크포인트, 펜 돌리기 동작 클립 40개와 학습 레시피, 그리고 STEP·3MF 형식의 출력용 장착 지그, 큐브, 펜이 들어 있다. 코드는 Apache 2.0 라이선스다.
손안 조작 성과는 대부분 논문 한 편과 영상 하나로 끝난다. 이것은 처음부터 끝까지 직접 돌려 볼 수 있는 파이프라인이다. 학습, 내보내기, 배포가 모두 저장소에 있고, 정책을 내려받을 수 있으며, 실제 장비 구성은 카메라 렌즈, 태그 크기, 장착 지그까지 정해져 있다. 배포 쪽은 일부러 가볍게 만들었다. 방향 전환 정책은 numpy와 onnxruntime만으로 돌아가며, 실행 시 PyTorch나 mjlab이 필요 없다. ZeroMQ로 연결된 세 개의 프로세스로 나뉜다. 마커로 큐브 자세를 추정하는 카메라 관측기, 손을 움직이는 정책 루프, 그리고 정책이 무슨 일이 일어나고 있다고 보는지 확인할 수 있는 선택적 MuJoCo 미러다.
5월의 첫 릴리스는 1세대 Wuji Hand에서의 큐브 방향 전환을 다뤘고, 저자들에 따르면 체크포인트는 시뮬레이션 100회 전부와 실제 시도 20회 중 17회에서 목표에 도달했으며 평균 오차는 약 4도였다. 9월 릴리스는 2세대 손, 50Hz 방향 전환 버전, 그리고 펜 돌리기를 추가했다. 펜 돌리기는 성격이 다른 문제다. 목표 자세에 도달하는 대신 녹화된 참조 동작을 따라가므로, 행동은 주어진 클립에 따라 정해진다. 다섯 개의 클립 그룹이 각각 짝이 맞는 체크포인트와 함께 제공된다.
전체가 Wuji의 하드웨어를 전제로 한다. 드라이버는 Wuji 자체 SDK이고, 카메라 부분은 Hikrobot 산업용 카메라 SDK에 맞춰 작성됐으며, 모델도 Wuji의 손을 기술한다. 하나의 손 제품군을 위한 참조 구현이지, 범용 정밀 조작 라이브러리가 아니다.
중요한 이유
손안 방향 전환과 펜 돌리기는 로봇 손재주를 가늠하는 고전적인 과제다. 지금까지는 주로 대형 연구실이 맞춤 제작한 손으로 보여 줬고, 독자가 실행할 수 있는 코드는 없었다. 여기서는 시판 중인 다섯 손가락 손의 제조사가 시뮬레이션 학습부터 실제 손으로 펜을 돌리는 정책까지 전 과정을 관대한 라이선스로, 오픈 시뮬레이터 위에 공개했다. 정밀한 하드웨어에서의 Sim-to-Real 강화학습을 완전하고 실행 가능하게 보여 주는 드문 사례이자, 다른 손에서 같은 일을 할 때 쓸 수 있는 본보기다.
해결하는 문제
정밀한 손을 위한 강화학습 정책을 시뮬레이션에서 실제 하드웨어로 옮기려면 보통 환경을 작성하고, 도메인 랜덤화를 조정하고, 인식 장비와 배포 런타임을 만들고, 그 사이의 모든 차이를 직접 찾아내야 한다. wuji-mjlab은 두 과제에 대해 이 모든 조각을 서로 맞물려 돌아가는 상태로, 사전 학습된 정책과 함께 제공하므로 손을 가진 사람은 무엇이든 바꾸기 전에 먼저 결과를 재현할 수 있다.
핵심 요점
- MuJoCo 기반 mjlab에서 PPO로 학습하고 실제 손에서 폐루프로 배포
- Cube Reorient는 두 세대 손 모두에서 동작하고, PenSpin은 Wuji Hand 2에서 참조 동작을 따라 손가락 관절 20개를 50Hz로 제어
- 릴리스에는 PyTorch·ONNX 체크포인트, 펜 돌리기 클립 40개와 레시피 5개, 출력용 지그·큐브·펜이 포함
- 배포에는 numpy와 onnxruntime만 필요하며, ZeroMQ로 카메라·정책·선택적 뷰어 프로세스로 나뉜다
- 첫 릴리스는 1세대 Wuji Hand에서 시뮬레이션 100회 중 100회, 실제 20회 중 17회 목표 도달을 보고
- Apache-2.0이며, Wuji의 다른 SDK, 손 기술 파일, 시뮬레이션 데모는 별도로 공개
대상
- 실제로 작동하는 손안 조작 정책을 원하는 Wuji Hand·Wuji Hand 2 소유자
- 정밀한 손을 위한 Sim-to-Real 강화학습을 연구하는 연구자
- 이동 예제가 아니라 완전한 조작 과제를 찾는 mjlab 사용자
- 손안 방향 전환이나 동작 추종 정책을 다른 손으로 옮기려는 사람
한계
- Wuji 손 전용: 드라이버, 모델, 체크포인트는 상용 제품인 Wuji Hand와 Wuji Hand 2를 대상으로 하며 오른손만 지원
- 카메라 관측기는 Hikrobot 산업용 카메라 SDK에 맞춰 작성돼 다른 카메라를 쓰려면 코드를 고쳐야 한다
- 학습에는 Linux x86_64, CUDA 12.8을 지원하는 NVIDIA GPU, 그리고 유일하게 지원되는 설치 도구 pixi가 필요
- 실제 손 성공률은 1세대 손의 큐브 방향 전환에 대해서만 공개됐고, Wuji Hand 2와 펜 돌리기에 대해서는 없다
- 펜 돌리기는 녹화된 참조 클립을 따라가므로 주어진 동작을 재현할 뿐 새 동작을 만들어 내지 않는다
- 과제는 두 가지뿐이며, 아직 쥐기, 도구 사용, 양손 작업은 없다