Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

wuji-mjlab

Treine e implante políticas de cubo e giro de caneta na mão Wuji Hand

Licença

Apache-2.0

Visão geral

O wuji-mjlab é o código aberto de treinamento e implantação da Wuji Technology para manipulação destra na mão com suas próprias mãos robóticas. As políticas são treinadas com PPO no mjlab, o framework de aprendizado robótico paralelizado em GPU construído sobre o MuJoCo, e rodam na mão física em malha fechada com uma câmera. Duas tarefas acompanham o projeto. Cube Reorient gira um cubo segurado com a palma para cima até qualquer orientação alvo e o mantém ali, tanto na Wuji Hand quanto na Wuji Hand 2. PenSpin faz a Wuji Hand 2 girar uma caneta de 250 mm seguindo movimentos de referência, controlando 20 juntas dos dedos a 50 Hz. A versão de setembro de 2026 inclui checkpoints pré-treinados em PyTorch e ONNX, 40 clipes de movimento de giro de caneta com suas receitas de treinamento, além de suportes de montagem, cubos e canetas imprimíveis em STEP e 3MF. O código está sob a licença Apache 2.0.

A maioria dos resultados em manipulação na mão se resume a um artigo e um vídeo. Aqui há um pipeline funcional que se pode rodar de ponta a ponta. Treinamento, exportação e implantação estão no repositório, as políticas podem ser baixadas, e a montagem física está especificada até a lente da câmera, o tamanho das tags e o suporte de fixação. A parte de implantação é propositalmente leve. A política de reorientação roda só com numpy e onnxruntime, sem PyTorch nem mjlab em tempo de execução. Ela é dividida em três processos ligados por ZeroMQ: um observador de câmera que estima a pose do cubo a partir de marcadores, o laço da política que comanda a mão, e um espelho opcional em MuJoCo para ver o que a política acha que está acontecendo.

A primeira versão, em maio, cobria a reorientação de cubo na Wuji Hand original, com um checkpoint que, segundo os autores, atingiu o objetivo em todas as 100 tentativas simuladas e em 17 de 20 reais, com erro médio de cerca de 4 graus. A versão de setembro acrescentou a mão de segunda geração, uma variante de reorientação a 50 Hz e o giro de caneta, que é outro tipo de problema. Em vez de alcançar uma pose alvo, a política segue movimentos de referência gravados, então o comportamento depende dos clipes que ela recebe. Cinco grupos de clipes acompanham o projeto, cada um com seus checkpoints.

Tudo pressupõe o hardware da Wuji. Os drivers são os SDKs da própria Wuji, a parte de câmera foi escrita para o SDK de câmeras industriais da Hikrobot, e os modelos descrevem as mãos da Wuji. É uma implementação de referência para uma família de mãos, não uma biblioteca geral de manipulação destra.

Por que importa

A reorientação na mão e o giro de caneta são os testes clássicos de destreza robótica. Até agora eram mostrados principalmente por grandes laboratórios, com mãos feitas sob medida e sem código que um leitor pudesse rodar. Aqui o fabricante de uma mão de cinco dedos disponível comercialmente publica o caminho completo, do treinamento em simulação até uma política girando uma caneta na mão real, sob uma licença permissiva e num simulador aberto. É um exemplo raro, completo e executável de RL sim-to-real em hardware destro, e um modelo para fazer o mesmo em outras mãos.

Problema que resolve

Levar uma política de RL para uma mão destra da simulação para o hardware real normalmente significa escrever o ambiente, ajustar a randomização de domínio, montar um sistema de percepção e um ambiente de execução, e descobrir sozinho cada diferença entre eles. O wuji-mjlab entrega todas essas peças funcionando juntas para duas tarefas, com políticas pré-treinadas, para que quem tem a mão possa reproduzir o resultado antes de mudar qualquer coisa.

Pontos principais

  • Treinamento PPO no mjlab sobre o MuJoCo, com implantação em malha fechada na mão física
  • Cube Reorient roda nas duas gerações da mão; PenSpin segue movimentos de referência na Wuji Hand 2, controlando 20 juntas dos dedos a 50 Hz
  • A versão traz checkpoints em PyTorch e ONNX, 40 clipes de giro de caneta com cinco receitas, e suportes, cubos e canetas imprimíveis
  • A implantação só precisa de numpy e onnxruntime, dividida em processos de câmera, política e visualizador opcional via ZeroMQ
  • A primeira versão relata 100 de 100 tentativas simuladas e 17 de 20 reais atingindo o objetivo na Wuji Hand original
  • Apache-2.0; os demais SDKs da Wuji, descrições da mão e demos de simulação são publicados separadamente

Para quem é

  • Donos de uma Wuji Hand ou Wuji Hand 2 que querem políticas de manipulação na mão funcionando
  • Pesquisadores que estudam aprendizado por reforço sim-to-real para mãos destras
  • Usuários do mjlab que procuram uma tarefa de manipulação completa, não só exemplos de locomoção
  • Quem for portar políticas de reorientação na mão ou de rastreamento de movimento para outra mão

Limitações

  • Feito para as mãos da Wuji: drivers, modelos e checkpoints miram a Wuji Hand e a Wuji Hand 2, ambas produtos comerciais, e só suportam a mão direita
  • O observador de câmera foi escrito para o SDK de câmeras industriais da Hikrobot; qualquer outra câmera exige mudança no código
  • O treinamento exige Linux x86_64, uma GPU NVIDIA com CUDA 12.8 e o gerenciador de pacotes pixi, o único instalador suportado
  • Taxas de sucesso na mão real só foram publicadas para a reorientação de cubo na primeira geração; nenhuma para a Wuji Hand 2 nem para o giro de caneta
  • O giro de caneta segue clipes de referência gravados, então reproduz os movimentos fornecidos em vez de inventar novos
  • Só duas tarefas: ainda não há preensão, uso de ferramentas nem trabalho com as duas mãos

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.