RoboKit
로봇 역기구학, 동작 계획, 리타겟팅, 파지 문제 수천 개를 GPU에서 한 번에 푸는 오픈소스 툴킷
라이선스
MIT
코드: MIT(RoboKit, RetargetingKit, GraspKit 저장소의 LICENSE 기준). 로봇 모델과 데이터셋은 프로젝트의 Hugging Face 데이터셋에서 받으며 각자의 라이선스를 따릅니다. 여러 개가 CC BY-NC 또는 CC BY-NC-SA이고(예: Inspire 손 모델과 DexYCB), AMASS, ARCTIC, GRAB, MANO, SMPL-X 데이터는 연구 용도로 제한됩니다. 라이선스가 표시되지 않은 모델도 있으며(예: XHand), 프로젝트 자체의 에셋 라이선스 목록에도 그렇게 적혀 있습니다. 상업적 이용이나 재배포 전에 이 목록을 확인하세요. 2026-11-07에 LICENSE와 에셋 라이선스 목록을 기준으로 확인함.
개요
RoboKit은 UC 샌디에이고 Xiaolong Wang 연구 그룹이 만든 로봇 최적화용 오픈소스 Python 툴킷이며, 제1저자는 Jianglong Ye입니다. URDF나 MJCF에서 로봇을 불러와 GPU에서 배치 처리되는 미분 가능한 기구학을 계산하고, 비용 항의 합으로 작성된 작업을 샘플링 기반 및 경사 기반 최적화기로 풉니다. 문제 하나부터 수천 개의 병렬 처리까지 가능합니다. 내장 작업으로는 역기구학, 충돌 없는 동작 계획, 손과 휴머노이드 모션 리타겟팅, 핸드-아이 캘리브레이션, 파지 합성, 그리고 MuJoCo Warp를 통한 모델 예측 제어가 있습니다. 함께 공개된 두 개의 동반 툴킷, 원격 조작용 RetargetingKit과 정교한 파지를 위한 GraspKit의 기반이기도 합니다. 버전 1.0.0이 PyPI에 올라와 있으며, 저자들에 따르면 이를 설명하는 논문은 CoRL 2026에 spotlight로 채택되었습니다.
RoboKit은 로보틱스의 작은 최적화 문제 대부분을 한 종류의 문제로 다룹니다. 로봇은 URDF나 MJCF에서 배치 처리되는 미분 가능한 기구학으로 불러오고, 작업은 자세 목표, 충돌, 관절 한계, 접촉 같은 비용 항의 집합으로 표현됩니다. 집단 솔버는 Levenberg-Marquardt, L-BFGS, 경사 하강법으로 많은 후보 해를 한꺼번에 움직이거나, MPPI와 진화 전략 방식의 절차로 샘플링합니다. 이 요소들이 어떻게 조합되는지는 최적화 가이드에 나와 있습니다. 기구학과 기하 계산은 NVIDIA Warp 위에서 실행되고, PyTorch는 선택 사항이며, 같은 코드로 문제 하나든 수천 개든 병렬로 처리하고 GPU가 있으면 GPU에서 실행합니다.
내장 작업은 고정 또는 부유 베이스의 역기구학, 장애물을 피하는 오프라인 및 온라인 동작 계획, 물체 접촉을 선택적으로 포함하는 손, 휴머노이드, 전신의 모션 리타겟팅, 렌더링한 로봇 마스크를 이용한 카메라 캘리브레이션, 그리고 어떤 손에도 적용되는 힘 닫힘 파지 합성입니다. MuJoCo Warp 추가 패키지를 설치하면 시뮬레이터를 통한 샘플링 기반 모델 예측 제어도 할 수 있습니다. 예제로는 펜을 돌리는 Sharpa 손, 상자 위로 기어오르는 Unitree G1, 정해진 발판에 점프를 착지하는 Go2가 있습니다. 강화학습 경로로는 NIST 보드 부품을 조립하는 Franka, 계단을 오르내리는 Go1 같은 정책을 학습합니다. 로봇 모델과 데이터셋은 프로젝트의 Hugging Face 데이터셋에서 받아 하나의 리비전에 고정되며, Franka Panda와 xArm 같은 로봇팔, 십여 종의 휴머노이드, 많은 로봇 손과 그리퍼를 포함합니다. 빠른 시작에 나오듯 Viser 기반의 대화형 갤러리를 패키지에서 바로 실행할 수 있습니다.
RoboKit은 2026년 11월 6일 OpenRoboKit의 일부로 발표되었고, 그 위에 만든 두 툴킷도 함께 공개되었습니다. RetargetingKit은 Apple Vision Pro, PICO, Manus 장갑, 모션 캡처에서 얻은 실시간 또는 녹화된 사람의 동작을 로봇 손, 로봇팔, 휴머노이드에 옮겨 실시간 원격 조작이나 배치 리타겟팅에 씁니다. 출력 대상에는 xArm 로봇팔과 Inspire, Ability 손이 있습니다. GraspKit은 파지 과정 전체를 맡습니다. GPU에서 파지를 최적화하고, 포인트 클라우드를 렌더링하고, 포인트 클라우드를 파지 궤적으로 바꾸는 정책을 학습해 ManiSkill이나 실제 하드웨어에 배치합니다. 실제 로봇용 프리셋은 xArm6, xArm7 로봇팔을 XHand, Sharpa, Ability 손과 짝지어 둡니다. 팀의 발표에는 이 구성으로 샌디에이고 야외에서 16시간 동안 이어진 파지 실험이 담겨 있습니다. 네 번째 저장소인 RoboSkills는 로보틱스용 에이전트 워크플로를 모아 둔 것입니다. 팀은 README에서 비교 대상 도구들보다 소요 시간이 크게 줄었다고 보고하며, 비교 대상에는 역기구학의 PyRoki, 동작 계획의 cuRobo, 휴머노이드 리타겟팅의 GMR, 강화학습 정책을 학습하기까지 걸리는 시간의 mjlab이 있습니다. 벤치마크 세부 내용은 논문에 있지만 논문은 아직 공개되지 않았습니다.
중요한 이유
로봇 학습 파이프라인은 같은 작은 최적화를 계속 반복합니다. 리타겟팅한 동작의 프레임마다 역기구학을, 데이터셋의 물체마다 파지를, 시작점과 목표점마다 경로 계획을 풉니다. 지금은 이런 작업마다 대개 자체 로봇 로더를 가진 다른 라이브러리를 씁니다. 기구학에는 PyRoki나 mink, 경로 계획에는 cuRobo, 리타겟팅에는 또 다른 도구를 쓰는 식입니다. RoboKit은 이를 하나의 배치 처리되는 미분 가능한 기반 위에 올려, 연구실이 의존성 하나로 리타겟팅 동작이나 파지 데이터셋을 대규모로 만들고 같은 로봇 모델을 경로 계획과 캘리브레이션에도 다시 쓸 수 있게 합니다. 동반 툴킷들은 이 기반이 실제 하드웨어까지 닿는다는 것을 보여 줍니다. GraspKit의 정책은 정교한 손을 단 xArm 로봇팔에서 돌아가고, RetargetingKit은 손과 휴머노이드를 실시간으로 움직입니다. 저희 frax와 PyRoki 페이지 독자에게는 다루는 작업 범위가 더 넓은, GPU 배치 로봇 기구학의 가장 새로운 선택지이고, mjlab과 MuJoCo 사용자에게는 MuJoCo Warp 기반의 샘플링 MPC가 더해집니다. 공개된 지 며칠밖에 되지 않아 속도에 대한 주장과 기능의 폭은 외부 사용자들이 아직 확인해야 합니다.
해결하는 문제
역기구학, 동작 계획, 리타겟팅, 캘리브레이션, 파지 합성은 보통 문제 하나씩, 각자 다른 라이브러리와 로봇 기술 파일로 풉니다. RoboKit은 이를 하나의 배치 처리되는 미분 가능한 로봇 모델 위의 비용 항으로 표현하고 GPU에서 수천 개를 병렬로 풀어, 대량의 로봇 데이터를 만들거나 많은 문제를 한꺼번에 푸는 일이 더 이상 병목이 되지 않게 합니다.
핵심 요점
- 역기구학, 동작 계획, 리타겟팅, 핸드-아이 캘리브레이션, 파지 합성, MPC를 하나의 툴킷으로
- 작업은 비용 항의 합이며, 샘플링 기반과 경사 기반 최적화기로 하나든 수천 개든 병렬로 푼다
- URDF나 MJCF로부터 NVIDIA Warp 위에서 배치 처리되는 미분 가능한 기구학을 계산하며, PyTorch는 선택 사항
- MuJoCo Warp를 통한 샘플링 MPC와 강화학습 학습 경로가 있으며, 손, 휴머노이드, 사족 로봇 예제를 제공
- RetargetingKit과 GraspKit이 그 위에 원격 조작과 정교한 파지를 구현했고, 로봇 손을 단 xArm 로봇팔에서 시험됨
- 버전 1.0.0이 MIT로 PyPI에 공개됨. 로봇 모델과 데이터셋에는 각각의 라이선스가 있음
대상
- 리타겟팅 동작, 파지, 궤적을 대량으로 만드는 로봇 학습 연구자
- VR, 장갑, 모션 캡처로 정교한 손이나 휴머노이드를 원격 조작하는 팀
- 여러 작업을 하나의 배치 기반으로 처리하고 싶은 PyRoki, cuRobo, mink 사용자
- xArm 로봇팔과 로봇 손으로 정교한 파지를 연구하는 연구실
한계
- 2026년 11월 6일 한 연구실이 발표한 것이라 아직 외부 사용이 적음
- 속도 향상 수치는 저자들 자체 측정이며, 벤치마크 세부 내용을 담은 논문은 아직 공개되지 않음
- 로봇 모델과 데이터셋에는 각각의 라이선스가 있음. 여러 개가 비상업용(CC BY-NC)이고, 일부 동작 및 손 데이터(AMASS, ARCTIC, GRAB, MANO, SMPL-X)는 연구 용도로 제한된다고 프로젝트 자체의 에셋 라이선스 목록에 적혀 있음
- GPU를 많이 쓰는 기능에는 NVIDIA 하드웨어가 필요함. GraspKit의 최적화, 렌더링, 학습에는 CUDA GPU가, 카메라 캘리브레이션에는 사용 중인 PyTorch와 CUDA 버전에 맞게 빌드한 nvdiffrast가 필요함
- GraspKit과 RetargetingKit은 버전 0.1.0이며, 실제 로봇 경로는 특정 구성에 맞춰져 있음. XHand, Sharpa, Ability 손을 단 xArm 로봇팔