wuji-mjlab
Addestra e metti in funzione policy di rotazione del cubo in mano e di penna rotante sulla Wuji Hand
Licenza
Apache-2.0
Panoramica
wuji-mjlab è il codice aperto di addestramento e messa in funzione di Wuji Technology per la manipolazione fine in mano sulle proprie mani robotiche. Le policy sono addestrate con PPO in mjlab, il framework di apprendimento robotico parallelo su GPU basato su MuJoCo, e girano sulla mano fisica in un anello chiuso con una telecamera. Sono inclusi due compiti. Cube Reorient ruota un cubo tenuto con il palmo verso l'alto fino a qualsiasi orientamento obiettivo e lo mantiene lì, sia sulla Wuji Hand sia sulla Wuji Hand 2. PenSpin fa girare alla Wuji Hand 2 una penna da 250 mm seguendo movimenti di riferimento, controllando 20 giunti delle dita a 50 Hz. La release di settembre 2026 include checkpoint preaddestrati in PyTorch e ONNX, 40 clip di movimento per far girare la penna con le relative ricette di addestramento, e dime di montaggio, cubi e penne stampabili in file STEP e 3MF. Il codice è distribuito con licenza Apache 2.0.
La maggior parte dei risultati di manipolazione in mano è un articolo e un video. Questo è una pipeline funzionante che si può eseguire da cima a fondo. Addestramento, esportazione e messa in funzione sono tutti nel repository, le policy si possono scaricare, e il banco fisico è specificato fino all'obiettivo della telecamera, alla dimensione dei tag e alla dima di montaggio. Il lato di messa in funzione è volutamente leggero. La policy di riorientamento gira con soli numpy e onnxruntime, senza PyTorch né mjlab in esecuzione. È suddivisa in tre processi collegati da ZeroMQ: un osservatore della telecamera che stima la posa del cubo dai tag fiduciali, il ciclo della policy che comanda la mano, e uno specchio MuJoCo opzionale per vedere che cosa la policy pensa stia accadendo.
La prima release, a maggio, copriva il riorientamento del cubo sulla Wuji Hand originale, con un checkpoint che secondo gli autori ha raggiunto l'obiettivo in tutte le 100 prove simulate e in 17 su 20 sulla mano reale, con un errore medio di circa 4 gradi. La release di settembre ha aggiunto la mano di seconda generazione, una variante di riorientamento a 50 Hz e la penna rotante, che è un problema di natura diversa. Invece di raggiungere una posa obiettivo, la policy segue movimenti di riferimento registrati, quindi il comportamento è plasmato dalle clip che le vengono date. Sono inclusi cinque gruppi di clip, ciascuno con i propri checkpoint abbinati.
L'intero sistema presuppone l'hardware di Wuji. I driver sono gli SDK di Wuji, il percorso della telecamera è scritto per l'SDK per telecamere industriali di Hikrobot, e i modelli descrivono le mani di Wuji. È un'implementazione di riferimento per una famiglia di mani, non una libreria generica di manipolazione fine.
Perché è importante
Il riorientamento in mano e la penna rotante sono i benchmark classici della destrezza robotica. Sono stati mostrati soprattutto da grandi laboratori, su mani costruite su misura, senza codice che un lettore potesse eseguire. Qui il produttore di una mano a cinque dita disponibile in commercio pubblica il percorso completo, dall'addestramento in simulazione a una policy che fa girare una penna sulla mano reale, con una licenza permissiva e su un simulatore aperto. È un raro esempio completo ed eseguibile di sim-to-real con RL su hardware ad alta destrezza, e un modello per fare lo stesso su altre mani.
Il problema che risolve
Portare una policy RL per una mano ad alta destrezza dalla simulazione all'hardware reale di solito significa scrivere l'ambiente, regolare la domain randomization, costruire un banco di percezione e un runtime di messa in funzione, e scoprire da sé ogni divario tra di essi. wuji-mjlab fornisce tutti questi pezzi già funzionanti insieme per due compiti, con policy preaddestrate, così che chi possiede la mano possa riprodurre il risultato prima di modificare qualcosa.
Punti chiave
- Addestramento PPO in mjlab su MuJoCo, con messa in funzione ad anello chiuso sulla mano fisica
- Cube Reorient gira su entrambe le generazioni della mano; PenSpin segue movimenti di riferimento sulla Wuji Hand 2, controllando 20 giunti delle dita a 50 Hz
- La release include checkpoint PyTorch e ONNX, 40 clip di movimento per la penna rotante con cinque ricette, e dime, cubi e penne stampabili
- La messa in funzione richiede solo numpy e onnxruntime, suddivisa in processi per telecamera, policy e visualizzatore opzionale collegati via ZeroMQ
- La prima release riporta 100 prove simulate su 100 e 17 prove reali su 20 che raggiungono l'obiettivo sulla Wuji Hand originale
- Apache-2.0; il resto degli SDK di Wuji, le descrizioni delle mani e le demo di simulazione sono pubblicati separatamente
A chi si rivolge
- Proprietari di una Wuji Hand o Wuji Hand 2 che vogliono policy di manipolazione in mano funzionanti
- Ricercatori che studiano l'apprendimento per rinforzo sim-to-real per mani ad alta destrezza
- Utenti di mjlab che cercano un compito di manipolazione completo, non solo esempi di locomozione
- Chiunque porti policy di riorientamento in mano o di inseguimento del movimento su una mano diversa
Limiti
- Pensato per le mani di Wuji: driver, modelli e checkpoint sono per la Wuji Hand e la Wuji Hand 2, entrambe prodotti commerciali, e supportano solo la mano destra
- L'osservatore della telecamera è scritto per l'SDK per telecamere industriali di Hikrobot; qualsiasi altra telecamera richiede una modifica al codice
- L'addestramento richiede Linux x86_64, una GPU NVIDIA con CUDA 12.8 e il gestore di pacchetti pixi, l'unico programma di installazione supportato
- I dati di successo sulla mano reale sono pubblicati solo per il riorientamento del cubo sulla mano di prima generazione; nessuno è fornito per la Wuji Hand 2 o per la penna rotante
- La penna rotante segue clip di riferimento registrate, quindi riproduce i movimenti forniti invece di inventarne di nuovi
- Solo due compiti: non ci sono ancora presa, uso di utensili o lavoro bimanuale