RoboKit
Boîte à outils GPU qui résout d'un coup des milliers de problèmes d'IK et de planification
Licence
MIT
Code : MIT, d'après LICENSE dans les dépôts RoboKit, RetargetingKit et GraspKit. Les modèles de robots et les jeux de données sont récupérés depuis les datasets Hugging Face du projet et gardent leurs propres licences : plusieurs sont sous CC BY-NC ou CC BY-NC-SA (par exemple le modèle de la main Inspire et DexYCB), et les données AMASS, ARCTIC, GRAB, MANO et SMPL-X sont soumises à des conditions de recherche restreintes. Certains modèles n'indiquent aucune licence (par exemple la XHand), comme le précise la liste des licences des ressources du projet. Vérifiez cette liste avant tout usage commercial ou toute redistribution. Vérifié le 2026-11-07 d'après LICENSE et la liste des licences des ressources.
Aperçu
RoboKit est une boîte à outils Python open source pour l'optimisation robotique, issue du groupe de Xiaolong Wang à l'UC San Diego ; son premier auteur est Jianglong Ye. Elle charge un robot depuis URDF ou MJCF, calcule une cinématique par lots et différentiable sur le GPU et résout des tâches écrites comme des sommes de termes de coût avec des optimiseurs par échantillonnage et par gradient, d'un seul problème à des milliers en parallèle. Les tâches intégrées couvrent la cinématique inverse, la planification de mouvement sans collision, le reciblage de mains et d'humanoïdes, l'étalonnage main-œil, la synthèse de prises et la commande prédictive par modèle via MuJoCo Warp. Elle sert de base à deux boîtes à outils compagnes publiées avec elle : RetargetingKit pour la téléopération et GraspKit pour la préhension dextre. La version 1.0.0 est sur PyPI et, selon les auteurs, l'article qui la décrit a été accepté en spotlight à CoRL 2026.
RoboKit traite la plupart des petits problèmes d'optimisation de la robotique comme un seul type de problème. Un robot est chargé depuis URDF ou MJCF dans une cinématique par lots et différentiable ; une tâche est un ensemble de termes de coût comme des cibles de pose, des collisions, des limites articulaires et des contacts ; et un solveur de population déplace de nombreuses solutions candidates à la fois avec Levenberg-Marquardt, L-BFGS ou la descente de gradient, ou les échantillonne selon des schémas de type MPPI et stratégies d'évolution. Le guide d'optimisation montre comment ces éléments se combinent. La cinématique et la géométrie tournent sur NVIDIA Warp, PyTorch est facultatif, et le même code traite un problème ou des milliers en parallèle, sur le GPU quand il y en a un.
Les tâches intégrées sont la cinématique inverse à base fixe ou flottante, la planification de mouvement hors ligne et en ligne autour d'obstacles, le reciblage de mouvement des mains, des humanoïdes et du corps entier avec contacts optionnels avec des objets, l'étalonnage de caméras à partir de masques rendus du robot et la synthèse de prises à fermeture de force pour n'importe quelle main. Avec l'option MuJoCo Warp, elle fait aussi de la commande prédictive par modèle par échantillonnage à travers le simulateur ; les exemples montrent une main Sharpa qui fait tourner un stylo, un Unitree G1 qui grimpe sur une caisse et un Go2 qui réussit des sauts sur des appuis choisis. Une voie d'apprentissage par renforcement entraîne des politiques, comme un Franka qui assemble les pièces d'une planche NIST et un Go1 qui monte et descend des escaliers. Les modèles de robots et les jeux de données sont récupérés depuis le dataset Hugging Face du projet et figés à une révision ; ils couvrent des bras comme le Franka Panda et le xArm, une douzaine d'humanoïdes et de nombreuses mains robotiques et pinces. Des galeries interactives dans Viser se lancent directement depuis le paquet, comme le montre le démarrage rapide.
RoboKit a été annoncée le 6 novembre 2026 au sein d'OpenRoboKit, avec deux boîtes à outils construites dessus. RetargetingKit transpose des mouvements humains en direct ou enregistrés sur des mains, des bras et des humanoïdes robotiques, depuis l'Apple Vision Pro, le PICO, des gants Manus ou la capture de mouvement, pour la téléopération en temps réel ou le reciblage par lots ; ses cibles incluent des bras xArm et des mains Inspire et Ability. GraspKit couvre toute la chaîne de préhension : elle optimise des prises sur le GPU, rend des nuages de points, entraîne une politique qui associe un nuage de points à une trajectoire de prise et la déploie dans ManiSkill ou sur du matériel ; ses préréglages pour robots réels associent des bras xArm6 et xArm7 à des mains XHand, Sharpa et Ability. L'annonce de l'équipe montre une session de préhension de 16 heures en plein air à San Diego avec ce montage. Un quatrième dépôt, RoboSkills, regroupe des flux de travail d'agents pour la robotique. Dans son README, l'équipe annonce d'importants gains de temps face aux outils auxquels elle se compare, notamment PyRoki pour la cinématique inverse, cuRobo pour la planification de mouvement, GMR pour le reciblage d'humanoïdes et mjlab pour le temps d'entraînement d'une politique RL ; le détail des mesures se trouve dans l'article, qui n'est pas encore public.
Pourquoi c'est important
Les chaînes d'apprentissage robotique exécutent sans cesse les mêmes petites optimisations : une cinématique inverse pour chaque image d'un mouvement reciblé, une prise pour chaque objet d'un jeu de données, un plan pour chaque départ et chaque arrivée. Aujourd'hui, chacune passe en général par une bibliothèque différente avec son propre chargeur de robot, comme PyRoki ou mink pour la cinématique, cuRobo pour la planification et un outil à part pour le reciblage. RoboKit les réunit sur une seule base par lots et différentiable : un laboratoire peut produire à grande échelle des mouvements reciblés ou des jeux de données de prises avec une seule dépendance, puis réutiliser le même modèle de robot pour la planification et l'étalonnage. Les boîtes à outils compagnes montrent que cette base atteint le matériel réel : les politiques de GraspKit tournent sur des bras xArm équipés de mains dextres, et RetargetingKit pilote des mains et des humanoïdes en direct. Pour les lecteurs de nos pages frax et PyRoki, c'est la plus récente des bibliothèques de cinématique robotique par lots sur GPU, avec un éventail de tâches plus large ; pour les utilisateurs de mjlab et de MuJoCo, elle ajoute une MPC par échantillonnage sur MuJoCo Warp. Elle n'a que quelques jours : les gains de vitesse annoncés et l'étendue des fonctions doivent encore être confirmés par des utilisateurs extérieurs.
Le problème résolu
La cinématique inverse, la planification de mouvement, le reciblage, l'étalonnage et la synthèse de prises se résolvent d'ordinaire un problème à la fois, chacun avec sa bibliothèque et sa propre description du robot. RoboKit les exprime comme des termes de coût sur un seul modèle de robot par lots et différentiable et en résout des milliers en parallèle sur le GPU, si bien que produire de grandes quantités de données robotiques ou résoudre de nombreux problèmes à la fois n'est plus le goulot d'étranglement.
Points clés
- Une seule boîte à outils pour la cinématique inverse, la planification de mouvement, le reciblage, l'étalonnage main-œil, la synthèse de prises et la MPC
- Les tâches sont des sommes de termes de coût, résolues pour un problème ou des milliers en parallèle par échantillonnage et par gradient
- Cinématique par lots et différentiable depuis URDF ou MJCF sur NVIDIA Warp ; PyTorch est facultatif
- MPC par échantillonnage via MuJoCo Warp et une voie d'entraînement RL, avec des exemples sur des mains, des humanoïdes et des quadrupèdes
- RetargetingKit et GraspKit construisent dessus la téléopération et la préhension dextre, testées sur des bras xArm avec des mains robotiques
- Version 1.0.0 sur PyPI sous MIT ; les modèles de robots et les jeux de données ont leurs propres licences
Pour qui
- Chercheurs en apprentissage robotique qui produisent en masse des mouvements reciblés, des prises ou des trajectoires
- Équipes qui téléopèrent des mains dextres ou des humanoïdes depuis la VR, des gants ou la capture de mouvement
- Utilisateurs de PyRoki, cuRobo ou mink qui veulent une seule base par lots pour plusieurs tâches
- Laboratoires qui travaillent sur la préhension dextre avec des bras xArm et des mains robotiques
Limites
- Annoncée le 6 novembre 2026 par un seul laboratoire, elle a encore peu d'utilisateurs extérieurs
- Les accélérations sont des mesures des auteurs eux-mêmes ; l'article qui détaille les tests n'est pas encore public
- Les modèles de robots et les jeux de données ont leurs propres licences : plusieurs sont non commerciaux (CC BY-NC) et certaines données de mouvement et de mains (AMASS, ARCTIC, GRAB, MANO, SMPL-X) sont soumises à des conditions de recherche restreintes, comme l'indique la liste des licences des ressources du projet
- Les fonctions gourmandes en GPU exigent du matériel NVIDIA : l'optimisation, le rendu et l'entraînement de GraspKit demandent un GPU CUDA, et l'étalonnage de caméras demande nvdiffrast compilé pour votre version exacte de PyTorch et de CUDA
- GraspKit et RetargetingKit en sont à la version 0.1.0, et leurs voies pour robots réels sont prévues pour des montages précis : des bras xArm avec des mains XHand, Sharpa ou Ability