wuji-mjlab
Entrena y despliega políticas de cubo y giro de bolígrafo en la mano Wuji Hand
Licencia
Apache-2.0
Resumen
wuji-mjlab es el código abierto de entrenamiento y despliegue de Wuji Technology para la manipulación diestra dentro de la mano con sus propias manos robóticas. Las políticas se entrenan con PPO en mjlab, el framework de aprendizaje robótico paralelizado en GPU construido sobre MuJoCo, y se ejecutan en la mano física en lazo cerrado con una cámara. Se incluyen dos tareas. Cube Reorient gira un cubo sostenido con la palma hacia arriba hasta cualquier orientación objetivo y lo mantiene allí, tanto en la Wuji Hand como en la Wuji Hand 2. PenSpin hace que la Wuji Hand 2 gire un bolígrafo de 250 mm siguiendo movimientos de referencia, controlando 20 articulaciones de los dedos a 50 Hz. La versión de septiembre de 2026 incluye checkpoints preentrenados en PyTorch y ONNX, 40 clips de movimiento de giro de bolígrafo con sus recetas de entrenamiento, y soportes de montaje, cubos y bolígrafos imprimibles en STEP y 3MF. El código tiene licencia Apache 2.0.
La mayoría de los resultados de manipulación dentro de la mano son un artículo y un vídeo. Esto es una cadena de trabajo que se puede ejecutar de principio a fin. El entrenamiento, la exportación y el despliegue están en el repositorio, las políticas se pueden descargar, y el montaje físico está especificado hasta el objetivo de la cámara, el tamaño de los marcadores y el soporte de montaje. La parte de despliegue es deliberadamente ligera. La política de reorientación se ejecuta solo con numpy y onnxruntime, sin PyTorch ni mjlab en tiempo de ejecución. Se reparte en tres procesos conectados por ZeroMQ: un observador de cámara que estima la pose del cubo a partir de marcadores, el bucle de la política que controla la mano, y un espejo opcional en MuJoCo para ver lo que la política cree que está pasando.
La primera versión, en mayo, cubría la reorientación de cubo en la Wuji Hand original, con un checkpoint que según los autores alcanzó el objetivo en los 100 ensayos simulados y en 17 de 20 reales, con un error medio de unos 4 grados. La versión de septiembre añadió la mano de segunda generación, una variante de reorientación a 50 Hz y el giro de bolígrafo, que es otro tipo de problema. En lugar de alcanzar una pose objetivo, la política sigue movimientos de referencia grabados, así que el comportamiento depende de los clips que se le den. Se incluyen cinco grupos de clips, cada uno con sus checkpoints.
Todo supone el hardware de Wuji. Los controladores son los SDK propios de Wuji, la parte de cámara está escrita para el SDK de cámaras industriales de Hikrobot, y los modelos describen las manos de Wuji. Es una implementación de referencia para una familia de manos, no una biblioteca general de manipulación diestra.
Por qué importa
La reorientación dentro de la mano y el giro de bolígrafo son las pruebas clásicas de la destreza robótica. Hasta ahora las mostraban sobre todo grandes laboratorios, con manos hechas a medida y sin código que un lector pudiera ejecutar. Aquí el fabricante de una mano de cinco dedos disponible comercialmente publica todo el camino, desde el entrenamiento en simulación hasta una política que gira un bolígrafo en la mano real, con una licencia permisiva y sobre un simulador abierto. Es un ejemplo completo y ejecutable, poco común, de RL sim-to-real en hardware diestro, y una plantilla para hacer lo mismo en otras manos.
Qué problema resuelve
Llevar una política de RL para una mano diestra de la simulación al hardware real suele implicar escribir el entorno, ajustar la aleatorización de dominio, construir un montaje de percepción y un entorno de ejecución, y descubrir por uno mismo cada diferencia entre ellos. wuji-mjlab entrega todas esas piezas funcionando juntas para dos tareas, con políticas preentrenadas, para que quien tenga la mano pueda reproducir el resultado antes de cambiar nada.
Puntos clave
- Entrenamiento PPO en mjlab sobre MuJoCo, con despliegue en lazo cerrado en la mano física
- Cube Reorient funciona en ambas generaciones de mano; PenSpin sigue movimientos de referencia en la Wuji Hand 2, controlando 20 articulaciones de los dedos a 50 Hz
- La versión incluye checkpoints en PyTorch y ONNX, 40 clips de giro de bolígrafo con cinco recetas, y soportes, cubos y bolígrafos imprimibles
- El despliegue solo necesita numpy y onnxruntime, repartido en procesos de cámara, política y visor opcional mediante ZeroMQ
- La primera versión informa de 100 de 100 ensayos simulados y 17 de 20 reales que alcanzan el objetivo en la Wuji Hand original
- Apache-2.0; el resto de los SDK de Wuji, las descripciones de la mano y las demos de simulación se publican por separado
Para quién es
- Propietarios de una Wuji Hand o Wuji Hand 2 que quieren políticas de manipulación dentro de la mano que funcionen
- Investigadores que estudian el aprendizaje por refuerzo sim-to-real para manos diestras
- Usuarios de mjlab que buscan una tarea de manipulación completa, no solo ejemplos de locomoción
- Cualquiera que porte políticas de reorientación dentro de la mano o de seguimiento de movimiento a otra mano
Limitaciones
- Hecho para las manos de Wuji: controladores, modelos y checkpoints apuntan a la Wuji Hand y la Wuji Hand 2, ambas productos comerciales, y solo admiten la mano derecha
- El observador de cámara está escrito para el SDK de cámaras industriales de Hikrobot; cualquier otra cámara requiere cambiar el código
- El entrenamiento requiere Linux x86_64, una GPU NVIDIA con CUDA 12.8 y el gestor de paquetes pixi, único instalador admitido
- Solo se publican tasas de éxito en la mano real para la reorientación de cubo en la primera generación; ninguna para la Wuji Hand 2 ni para el giro de bolígrafo
- El giro de bolígrafo sigue clips de referencia grabados, así que reproduce los movimientos suministrados en lugar de inventar otros
- Solo dos tareas: todavía no hay agarre, uso de herramientas ni trabajo con dos manos