Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

wuji-mjlab

Entraîner et déployer des politiques de cube et de stylo en main sur la Wuji Hand

Licence

Apache-2.0

Aperçu

wuji-mjlab est le code ouvert d'entraînement et de déploiement de Wuji Technology pour la manipulation dextre en main sur ses propres mains robotiques. Les politiques sont entraînées avec PPO dans mjlab, le framework d'apprentissage robotique parallélisé sur GPU et construit sur MuJoCo, puis exécutées sur la main physique en boucle fermée avec une caméra. Deux tâches sont fournies. Cube Reorient fait tourner un cube tenu paume vers le haut jusqu'à n'importe quelle orientation cible et l'y maintient, sur la Wuji Hand comme sur la Wuji Hand 2. PenSpin fait tourner un stylo de 250 mm par la Wuji Hand 2 en suivant des mouvements de référence, en pilotant 20 articulations des doigts à 50 Hz. La version de septembre 2026 regroupe des checkpoints pré-entraînés en PyTorch et ONNX, 40 clips de mouvement de rotation de stylo avec leurs recettes d'entraînement, ainsi que des supports de montage, des cubes et des stylos imprimables aux formats STEP et 3MF. Le code est sous licence Apache 2.0.

La plupart des résultats en manipulation en main se résument à un article et une vidéo. Ici, c'est une chaîne complète qu'on peut exécuter de bout en bout. L'entraînement, l'export et le déploiement sont dans le dépôt, les politiques sont téléchargeables, et le montage physique est spécifié jusqu'à l'objectif de la caméra, la taille des marqueurs et le support de fixation. Le côté déploiement est volontairement léger. La politique de réorientation tourne avec numpy et onnxruntime seulement, sans PyTorch ni mjlab à l'exécution. Elle est répartie en trois processus reliés par ZeroMQ : un observateur caméra qui estime la pose du cube à partir de marqueurs, la boucle de politique qui commande la main, et un miroir MuJoCo facultatif pour voir ce que la politique croit qu'il se passe.

La première version, en mai, couvrait la réorientation de cube sur la Wuji Hand d'origine, avec un checkpoint qui, selon les auteurs, atteignait l'objectif lors des 100 essais simulés et de 17 essais réels sur 20, avec une erreur moyenne d'environ 4 degrés. La version de septembre a ajouté la main de deuxième génération, une variante de réorientation à 50 Hz et la rotation de stylo, qui est un autre type de problème. Au lieu d'atteindre une pose cible, la politique suit des mouvements de référence enregistrés, si bien que le comportement dépend des clips qu'on lui fournit. Cinq groupes de clips sont livrés, chacun avec ses checkpoints.

L'ensemble suppose le matériel de Wuji. Les pilotes sont les SDK de Wuji, la chaîne caméra est écrite pour le SDK de caméra industrielle de Hikrobot, et les modèles décrivent les mains de Wuji. C'est une implémentation de référence pour une famille de mains, pas une bibliothèque générale de manipulation dextre.

Pourquoi c'est important

La réorientation en main et la rotation de stylo sont les épreuves classiques de la dextérité robotique. Elles ont surtout été montrées par de grands laboratoires, sur des mains sur mesure, sans code qu'un lecteur pourrait exécuter. Ici, le fabricant d'une main à cinq doigts disponible dans le commerce publie tout le chemin, de l'entraînement en simulation à une politique qui fait tourner un stylo sur la vraie main, sous une licence permissive et sur un simulateur ouvert. C'est un rare exemple complet et exécutable de RL sim-to-real sur du matériel dextre, et un modèle pour faire de même sur d'autres mains.

Le problème résolu

Faire passer une politique RL pour main dextre de la simulation au matériel réel implique d'ordinaire d'écrire l'environnement, de régler la randomisation de domaine, de construire un montage de perception et un environnement d'exécution, et de découvrir soi-même chaque écart entre eux. wuji-mjlab fournit toutes ces pièces qui fonctionnent ensemble pour deux tâches, avec des politiques pré-entraînées, pour qu'un possesseur de la main puisse reproduire le résultat avant de changer quoi que ce soit.

Points clés

  • Entraînement PPO dans mjlab sur MuJoCo, avec déploiement en boucle fermée sur la main physique
  • Cube Reorient fonctionne sur les deux générations de main ; PenSpin suit des mouvements de référence sur la Wuji Hand 2 en pilotant 20 articulations des doigts à 50 Hz
  • La version fournit des checkpoints PyTorch et ONNX, 40 clips de rotation de stylo avec cinq recettes, et des supports, cubes et stylos imprimables
  • Le déploiement n'a besoin que de numpy et onnxruntime, réparti en processus caméra, politique et visualiseur facultatif via ZeroMQ
  • La première version rapporte 100 essais simulés sur 100 et 17 essais réels sur 20 atteignant l'objectif sur la Wuji Hand d'origine
  • Apache-2.0 ; les autres SDK de Wuji, descriptions de main et démos de simulation sont publiés séparément

Pour qui

  • Possesseurs d'une Wuji Hand ou d'une Wuji Hand 2 qui veulent des politiques de manipulation en main opérationnelles
  • Chercheurs qui étudient l'apprentissage par renforcement sim-to-real pour les mains dextres
  • Utilisateurs de mjlab qui cherchent une tâche de manipulation complète, pas seulement des exemples de locomotion
  • Quiconque porte des politiques de réorientation en main ou de suivi de mouvement vers une autre main

Limites

  • Conçu pour les mains de Wuji : pilotes, modèles et checkpoints ciblent la Wuji Hand et la Wuji Hand 2, deux produits commerciaux, et ne prennent en charge que la main droite
  • L'observateur caméra est écrit pour le SDK de caméra industrielle de Hikrobot ; toute autre caméra demande de modifier le code
  • L'entraînement exige Linux x86_64, un GPU NVIDIA avec CUDA 12.8 et le gestionnaire de paquets pixi, seul installateur pris en charge
  • Des taux de réussite sur main réelle ne sont publiés que pour la réorientation de cube sur la main de première génération ; aucun pour la Wuji Hand 2 ni pour la rotation de stylo
  • La rotation de stylo suit des clips de référence enregistrés, elle reproduit donc les mouvements fournis au lieu d'en inventer de nouveaux
  • Deux tâches seulement : pas encore de saisie, d'usage d'outils ni de travail à deux mains

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.