RoboKit
GPU-Toolkit, das Tausende IK-, Planungs- und Retargeting-Probleme gleichzeitig löst
Lizenz
MIT
Code: MIT, laut LICENSE in den Repositorys von RoboKit, RetargetingKit und GraspKit. Robotermodelle und Datensätze werden aus den Hugging-Face-Datensätzen des Projekts geladen und behalten ihre eigenen Lizenzen: Mehrere stehen unter CC BY-NC oder CC BY-NC-SA (zum Beispiel das Modell der Inspire-Hand und DexYCB), und Daten aus AMASS, ARCTIC, GRAB, MANO und SMPL-X unterliegen eingeschränkten Forschungsbedingungen. Für einige Modelle ist keine Lizenz angegeben (zum Beispiel die XHand), wie die eigene Liste der Asset-Lizenzen des Projekts sagt. Prüfen Sie diese Liste vor kommerzieller Nutzung oder Weitergabe. Geprüft am 2026-11-07 anhand von LICENSE und der Liste der Asset-Lizenzen.
Überblick
RoboKit ist ein Open-Source-Python-Toolkit für Roboteroptimierung aus der Gruppe von Xiaolong Wang an der UC San Diego; Erstautor ist Jianglong Ye. Es lädt einen Roboter aus URDF oder MJCF, berechnet gebündelte und differenzierbare Kinematik auf der GPU und löst Aufgaben, die als Summen von Kostentermen formuliert sind, mit Sampling- und Gradientenverfahren, von einem einzelnen Problem bis zu Tausenden parallel. Eingebaute Aufgaben sind inverse Kinematik, kollisionsfreie Bewegungsplanung, Hand- und Humanoiden-Retargeting, Hand-Auge-Kalibrierung, Greifsynthese und modellprädiktive Regelung über MuJoCo Warp. Es ist die Grundlage zweier Begleit-Toolkits, die mit ihm erschienen sind: RetargetingKit für Teleoperation und GraspKit für geschicktes Greifen. Version 1.0.0 liegt auf PyPI, und laut den Autoren wurde das zugehörige Paper als Spotlight auf der CoRL 2026 angenommen.
RoboKit behandelt die meisten kleinen Optimierungsprobleme der Robotik als eine Art von Problem. Ein Roboter wird aus URDF oder MJCF in gebündelte, differenzierbare Kinematik geladen; eine Aufgabe ist eine Menge von Kostentermen wie Posenziele, Kollisionen, Gelenkgrenzen und Kontakte; und ein Populationslöser bewegt viele Kandidatenlösungen zugleich mit Levenberg-Marquardt, L-BFGS oder Gradientenabstieg oder sampelt sie mit Schemata im Stil von MPPI und Evolutionsstrategien. Der Optimierungsleitfaden zeigt, wie diese Teile zusammenspielen. Kinematik und Geometrie laufen auf NVIDIA Warp, PyTorch ist optional, und derselbe Code läuft für ein Problem oder Tausende parallel, auf der GPU, wenn eine vorhanden ist.
Eingebaute Aufgaben sind inverse Kinematik mit fester oder schwebender Basis, Offline- und Online-Bewegungsplanung um Hindernisse herum, Bewegungs-Retargeting für Hände, Humanoide und den ganzen Körper mit optionalen Objektkontakten, Kamerakalibrierung aus gerenderten Robotermasken und Greifsynthese mit Kraftschluss für jede Hand. Mit dem Extra für MuJoCo Warp beherrscht es auch sampling-basierte modellprädiktive Regelung über den Simulator; die Beispiele zeigen eine Sharpa-Hand, die einen Stift dreht, einen Unitree G1, der auf eine Kiste klettert, und einen Go2, der Sprünge auf gewählten Trittpunkten landet. Ein Pfad für Reinforcement Learning trainiert Policies wie einen Franka, der Teile eines NIST-Boards montiert, und einen Go1, der Treppen läuft. Robotermodelle und Datensätze werden aus dem Hugging-Face-Datensatz des Projekts geladen und auf eine Revision festgelegt; sie umfassen Arme wie den Franka Panda und xArm, ein Dutzend Humanoide und viele Roboterhände und Greifer. Interaktive Galerien in Viser laufen direkt aus dem Paket, wie der Schnellstart zeigt.
RoboKit wurde am 6. November 2026 als Teil von OpenRoboKit angekündigt, zusammen mit zwei darauf aufbauenden Toolkits. RetargetingKit überträgt live oder aufgezeichnete menschliche Bewegungen auf Roboterhände, -arme und Humanoide, von Apple Vision Pro, PICO, Manus-Handschuhen oder Motion Capture, für Teleoperation in Echtzeit oder Retargeting im Stapel; zu den Zielen gehören xArm-Arme sowie Inspire- und Ability-Hände. GraspKit bildet eine vollständige Greif-Pipeline: Es optimiert Griffe auf der GPU, rendert Punktwolken, trainiert eine Policy, die eine Punktwolke auf eine Greiftrajektorie abbildet, und setzt sie in ManiSkill oder auf Hardware ein; seine Voreinstellungen für echte Roboter kombinieren xArm6- und xArm7-Arme mit XHand-, Sharpa- und Ability-Händen. Die Ankündigung des Teams zeigt einen 16-stündigen Greiflauf im Freien in San Diego mit diesem Aufbau. Ein viertes Repository, RoboSkills, bündelt Agenten-Workflows für die Robotik. In seinem README berichtet das Team von großen Zeitgewinnen gegenüber den Werkzeugen, mit denen es sich vergleicht, darunter PyRoki für inverse Kinematik, cuRobo für Bewegungsplanung, GMR für Humanoiden-Retargeting und mjlab für die Zeit bis zu einer trainierten RL-Policy; die Details der Benchmarks stehen im Paper, das noch nicht öffentlich ist.
Warum es wichtig ist
Pipelines für Roboterlernen führen dieselben kleinen Optimierungen immer wieder aus: inverse Kinematik für jedes Bild einer übertragenen Bewegung, einen Griff für jedes Objekt in einem Datensatz, einen Plan für jeden Start und jedes Ziel. Heute bedeutet jede davon meist eine andere Bibliothek mit eigenem Roboter-Loader, etwa PyRoki oder mink für Kinematik, cuRobo für Planung und ein eigenes Retargeting-Werkzeug. RoboKit stellt sie auf eine gebündelte, differenzierbare Grundlage, sodass ein Labor übertragene Bewegungen oder Greifdatensätze in großem Umfang mit einer einzigen Abhängigkeit erzeugen und dasselbe Robotermodell für Planung und Kalibrierung weiterverwenden kann. Die Begleit-Toolkits zeigen, dass diese Grundlage echte Hardware erreicht: Die Policies von GraspKit laufen auf xArm-Armen mit geschickten Händen, und RetargetingKit steuert Hände und Humanoide live. Für Leser unserer Seiten zu frax und PyRoki ist es der neueste Vertreter GPU-gebündelter Roboterkinematik, mit einem breiteren Aufgabenspektrum; für Nutzer von mjlab und MuJoCo bringt es sampling-basierte MPC auf MuJoCo Warp. Es ist erst wenige Tage alt, daher müssen externe Nutzer die Geschwindigkeitsangaben und die Breite noch bestätigen.
Welches Problem es löst
Inverse Kinematik, Bewegungsplanung, Retargeting, Kalibrierung und Greifsynthese werden meist Problem für Problem gelöst, jeweils mit eigener Bibliothek und eigener Roboterbeschreibung. RoboKit formuliert sie als Kostenterme über ein gebündeltes, differenzierbares Robotermodell und löst Tausende davon parallel auf der GPU, sodass große Mengen an Roboterdaten oder viele Probleme auf einmal kein Engpass mehr sind.
Wichtigste Punkte
- Ein Toolkit für inverse Kinematik, Bewegungsplanung, Retargeting, Hand-Auge-Kalibrierung, Greifsynthese und MPC
- Aufgaben sind Summen von Kostentermen, gelöst für ein Problem oder Tausende parallel mit Sampling- und Gradientenverfahren
- Gebündelte, differenzierbare Kinematik aus URDF oder MJCF auf NVIDIA Warp; PyTorch ist optional
- Sampling-MPC über MuJoCo Warp und ein RL-Trainingspfad, mit Beispielen für Hände, Humanoide und Vierbeiner
- RetargetingKit und GraspKit bauen Teleoperation und geschicktes Greifen darauf auf, getestet auf xArm-Armen mit Roboterhänden
- Version 1.0.0 auf PyPI unter MIT; Robotermodelle und Datensätze haben eigene Lizenzen
Für wen
- Forschende im Roboterlernen, die übertragene Bewegungen, Griffe oder Trajektorien in großer Menge erzeugen
- Teams, die geschickte Hände oder Humanoide per VR, Handschuh oder Motion Capture teleoperieren
- Nutzer von PyRoki, cuRobo oder mink, die eine gebündelte Grundlage für mehrere Aufgaben wollen
- Labore, die an geschicktem Greifen mit xArm-Armen und Roboterhänden arbeiten
Einschränkungen
- Am 6. November 2026 von einem einzelnen Labor angekündigt, daher bisher wenig externe Nutzung
- Die Beschleunigungen sind eigene Messungen der Autoren; das Paper mit den Details der Benchmarks ist noch nicht öffentlich
- Robotermodelle und Datensätze haben eigene Lizenzen: Mehrere sind nicht kommerziell (CC BY-NC), und einige Bewegungs- und Handdaten (AMASS, ARCTIC, GRAB, MANO, SMPL-X) unterliegen eingeschränkten Forschungsbedingungen, wie die Liste der Asset-Lizenzen des Projekts angibt
- GPU-lastige Funktionen brauchen NVIDIA-Hardware: Optimierung, Rendering und Training in GraspKit brauchen eine CUDA-GPU, und die Kamerakalibrierung braucht nvdiffrast, gebaut für genau Ihre PyTorch- und CUDA-Version
- GraspKit und RetargetingKit sind bei Version 0.1.0, und ihre Pfade für echte Roboter sind auf bestimmte Aufbauten ausgelegt: xArm-Arme mit XHand-, Sharpa- oder Ability-Händen