wuji-mjlab
In-Hand-Policies für Würfel und Stiftdrehen auf der Wuji Hand trainieren und einsetzen
Lizenz
Apache-2.0
Überblick
wuji-mjlab ist der offene Trainings- und Einsatzcode von Wuji Technology für geschickte In-Hand-Manipulation mit den eigenen Roboterhänden. Die Policies werden mit PPO in mjlab trainiert, dem GPU-parallelen Robot-Learning-Framework auf Basis von MuJoCo, und laufen auf der physischen Hand in einem geschlossenen Regelkreis mit einer Kamera. Zwei Aufgaben sind enthalten. Cube Reorient dreht einen mit nach oben gerichteter Handfläche gehaltenen Würfel in jede Zielorientierung und hält ihn dort, auf der Wuji Hand wie auf der Wuji Hand 2. PenSpin lässt die Wuji Hand 2 einen 250 mm langen Stift drehen, indem sie Referenzbewegungen nachfährt und dabei 20 Fingergelenke mit 50 Hz steuert. Das Release vom September 2026 enthält vortrainierte Checkpoints als PyTorch und ONNX, 40 Bewegungsclips zum Stiftdrehen mit ihren Trainingsrezepten sowie druckbare Halterungen, Würfel und Stifte als STEP- und 3MF-Dateien. Der Code steht unter der Apache-2.0-Lizenz.
Die meisten Ergebnisse zur In-Hand-Manipulation bestehen aus einem Paper und einem Video. Dies hier ist eine funktionierende Pipeline, die sich von Anfang bis Ende ausführen lässt. Training, Export und Einsatz liegen im Repository, die Policies sind herunterladbar, und der physische Aufbau ist bis zum Kameraobjektiv, zur Tag-Größe und zur Halterung spezifiziert. Die Einsatzseite ist bewusst schlank. Die Reorient-Policy läuft allein mit numpy und onnxruntime, ohne PyTorch oder mjlab zur Laufzeit. Sie ist auf drei über ZeroMQ verbundene Prozesse aufgeteilt: einen Kamerabeobachter, der die Pose des Würfels aus Markern schätzt, die Policy-Schleife, die die Hand ansteuert, und einen optionalen MuJoCo-Spiegel, in dem man sieht, was die Policy zu sehen glaubt.
Das erste Release im Mai deckte die Würfelumorientierung auf der ursprünglichen Wuji Hand ab, mit einem Checkpoint, der laut den Autoren das Ziel in allen 100 simulierten und in 17 von 20 realen Versuchen erreichte, mit einem durchschnittlichen Fehler von etwa 4 Grad. Das September-Release ergänzte die zweite Handgeneration, eine 50-Hz-Variante der Umorientierung und das Stiftdrehen, das ein anderes Problem ist. Statt eine Zielpose zu erreichen, folgt die Policy aufgezeichneten Referenzbewegungen, das Verhalten wird also von den Clips geprägt, die sie bekommt. Fünf Clipgruppen sind enthalten, jede mit passenden Checkpoints.
Das Ganze setzt Wujis Hardware voraus. Die Treiber sind Wujis eigene SDKs, der Kamerapfad ist gegen das Industriekamera-SDK von Hikrobot geschrieben, und die Modelle beschreiben Wujis Hände. Es ist eine Referenzimplementierung für eine Handfamilie, keine allgemeine Bibliothek für geschickte Manipulation.
Warum es wichtig ist
In-Hand-Umorientierung und Stiftdrehen sind die klassischen Prüfsteine für Robotergeschick. Gezeigt wurden sie bisher meist von großen Laboren, auf Spezialhänden, ohne Code, den ein Leser ausführen könnte. Hier veröffentlicht der Hersteller einer im Handel erhältlichen Fünffingerhand den kompletten Weg vom Training in der Simulation bis zu einer Policy, die auf der echten Hand einen Stift dreht, unter einer freizügigen Lizenz und auf einem offenen Simulator. Es ist ein seltenes vollständiges, lauffähiges Beispiel für Sim-to-Real-RL auf geschickter Hardware und eine Vorlage, um dasselbe auf anderen Händen zu tun.
Welches Problem es löst
Eine RL-Policy für eine geschickte Hand aus der Simulation auf echte Hardware zu bringen, heißt normalerweise, die Umgebung zu schreiben, die Domain-Randomisierung abzustimmen, einen Wahrnehmungsaufbau und eine Einsatz-Laufzeit zu bauen und jede Lücke dazwischen selbst zu entdecken. wuji-mjlab liefert all diese Teile für zwei Aufgaben zusammenspielend und mit vortrainierten Policies, sodass ein Besitzer der Hand das Ergebnis reproduzieren kann, bevor er etwas ändert.
Wichtigste Punkte
- PPO-Training in mjlab auf MuJoCo, mit Einsatz im geschlossenen Regelkreis auf der physischen Hand
- Cube Reorient läuft auf beiden Handgenerationen; PenSpin folgt auf der Wuji Hand 2 Referenzbewegungen und steuert 20 Fingergelenke mit 50 Hz
- Das Release enthält PyTorch- und ONNX-Checkpoints, 40 Bewegungsclips zum Stiftdrehen mit fünf Rezepten sowie druckbare Halterungen, Würfel und Stifte
- Für den Einsatz genügen numpy und onnxruntime, aufgeteilt in Kamera-, Policy- und optionalen Viewer-Prozess über ZeroMQ
- Das erste Release meldet auf der ursprünglichen Wuji Hand 100 von 100 simulierten und 17 von 20 realen Versuchen mit erreichtem Ziel
- Apache-2.0; Wujis übrige SDKs, Handbeschreibungen und Simulationsdemos sind separat veröffentlicht
Für wen
- Besitzer einer Wuji Hand oder Wuji Hand 2, die funktionierende In-Hand-Manipulations-Policies wollen
- Forschende, die Sim-to-Real-Reinforcement-Learning für geschickte Hände untersuchen
- mjlab-Nutzer, die eine vollständige Manipulationsaufgabe suchen statt nur Fortbewegungsbeispiele
- Alle, die In-Hand-Umorientierung oder Bewegungs-Tracking-Policies auf eine andere Hand portieren
Einschränkungen
- Für Wujis Hände gebaut: Treiber, Modelle und Checkpoints zielen auf die Wuji Hand und die Wuji Hand 2, beides kommerzielle Produkte, und unterstützen nur die rechte Hand
- Der Kamerabeobachter ist gegen das Industriekamera-SDK von Hikrobot geschrieben; jede andere Kamera erfordert eine Codeänderung
- Das Training erfordert Linux x86_64, eine NVIDIA-GPU mit CUDA 12.8 und den Paketmanager pixi, der der einzige unterstützte Installer ist
- Erfolgsquoten auf der echten Hand gibt es nur für die Würfelumorientierung auf der ersten Handgeneration; für die Wuji Hand 2 und das Stiftdrehen werden keine genannt
- Das Stiftdrehen folgt aufgezeichneten Referenzclips und reproduziert daher die mitgelieferten Bewegungen, statt neue zu erfinden
- Nur zwei Aufgaben: noch kein Greifen, kein Werkzeuggebrauch und keine beidhändige Arbeit