Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

RoboKit

Kit de GPU que resolve milhares de problemas de IK, planejamento e retargeting de uma vez

Licença

MIT

Código: MIT, segundo LICENSE nos repositórios RoboKit, RetargetingKit e GraspKit. Modelos de robôs e datasets são baixados dos datasets do projeto no Hugging Face e mantêm suas próprias licenças: vários estão sob CC BY-NC ou CC BY-NC-SA (por exemplo, o modelo da mão Inspire e o DexYCB), e os dados de AMASS, ARCTIC, GRAB, MANO e SMPL-X têm termos de pesquisa restritos. Alguns modelos não informam licença (por exemplo, a XHand), como diz a própria lista de licenças de recursos do projeto. Consulte essa lista antes de uso comercial ou redistribuição. Verificado em 2026-11-07 com base em LICENSE e na lista de licenças de recursos.

Visão geral

RoboKit é um kit de ferramentas Python de código aberto para otimização robótica, do grupo de Xiaolong Wang na UC San Diego; seu primeiro autor é Jianglong Ye. Ele carrega um robô a partir de URDF ou MJCF, calcula cinemática em lote e diferenciável na GPU e resolve tarefas escritas como somas de termos de custo com otimizadores por amostragem e por gradiente, de um único problema até milhares em paralelo. As tarefas incluídas cobrem cinemática inversa, planejamento de movimento sem colisões, retargeting de mãos e humanoides, calibração mão-olho, síntese de preensão e controle preditivo por modelo via MuJoCo Warp. Ele é a base de dois kits complementares lançados junto: RetargetingKit para teleoperação e GraspKit para preensão destra. A versão 1.0.0 está no PyPI e, segundo os autores, o artigo que o descreve foi aceito como spotlight na CoRL 2026.

RoboKit trata a maioria dos pequenos problemas de otimização da robótica como um único tipo de problema. Um robô é carregado de URDF ou MJCF em uma cinemática em lote e diferenciável; uma tarefa é um conjunto de termos de custo como alvos de pose, colisões, limites de junta e contatos; e um solucionador de população move muitas soluções candidatas ao mesmo tempo com Levenberg-Marquardt, L-BFGS ou descida de gradiente, ou as amostra com esquemas no estilo MPPI e de estratégias evolutivas. O guia de otimização mostra como essas peças se combinam. A cinemática e a geometria rodam sobre o NVIDIA Warp, o PyTorch é opcional e o mesmo código atende um problema ou milhares em paralelo, na GPU quando houver uma.

As tarefas incluídas são cinemática inversa com base fixa ou flutuante, planejamento de movimento offline e online em torno de obstáculos, retargeting de movimento de mãos, humanoides e corpo inteiro com contatos opcionais com objetos, calibração de câmeras a partir de máscaras renderizadas do robô e síntese de preensão com fechamento de força para qualquer mão. Com o extra do MuJoCo Warp, ele também faz controle preditivo por modelo baseado em amostragem através do simulador; os exemplos incluem uma mão Sharpa girando uma caneta, um Unitree G1 subindo em uma caixa e um Go2 acertando saltos em apoios escolhidos. Um caminho de aprendizado por reforço treina políticas como um Franka montando peças de uma placa NIST e um Go1 subindo e descendo escadas. Modelos de robôs e conjuntos de dados vêm do dataset do projeto no Hugging Face, fixados em uma revisão; abrangem braços como o Franka Panda e o xArm, uma dúzia de humanoides e muitas mãos robóticas e garras. Galerias interativas no Viser rodam direto do pacote, como mostra o início rápido.

O RoboKit foi anunciado em 6 de novembro de 2026 como parte do OpenRoboKit, junto com dois kits construídos sobre ele. O RetargetingKit leva movimento humano ao vivo ou gravado para mãos, braços e humanoides robóticos, a partir do Apple Vision Pro, PICO, luvas Manus ou captura de movimento, para teleoperação em tempo real ou retargeting em lote; entre seus destinos estão braços xArm e mãos Inspire e Ability. O GraspKit cobre todo o fluxo de preensão: otimiza preensões na GPU, renderiza nuvens de pontos, treina uma política que transforma uma nuvem de pontos em uma trajetória de preensão e a implanta no ManiSkill ou em hardware; suas configurações para robôs reais combinam braços xArm6 e xArm7 com mãos XHand, Sharpa e Ability. O anúncio da equipe mostra uma sessão de preensão de 16 horas ao ar livre em San Diego com essa montagem. Um quarto repositório, RoboSkills, reúne fluxos de trabalho de agentes para robótica. No README, a equipe relata grandes ganhos de tempo em relação às ferramentas com que se compara, entre elas PyRoki para cinemática inversa, cuRobo para planejamento de movimento, GMR para retargeting de humanoides e mjlab para o tempo até treinar uma política de RL; os detalhes dos testes estão no artigo, que ainda não é público.

Por que importa

Fluxos de aprendizado robótico executam as mesmas pequenas otimizações repetidamente: cinemática inversa para cada quadro de um movimento transferido, uma preensão para cada objeto de um dataset, um plano para cada início e destino. Hoje cada uma costuma exigir uma biblioteca diferente com seu próprio carregador de robôs, como PyRoki ou mink para cinemática, cuRobo para planejamento e outra ferramenta para retargeting. O RoboKit coloca todas sobre uma única base em lote e diferenciável, para que um laboratório gere movimentos transferidos ou datasets de preensão em grande escala com uma só dependência e reaproveite o mesmo modelo de robô para planejamento e calibração. Os kits complementares mostram que essa base chega ao hardware real: as políticas do GraspKit rodam em braços xArm com mãos destras, e o RetargetingKit controla mãos e humanoides ao vivo. Para quem lê nossas páginas de frax e PyRoki, é o mais novo representante da cinemática robótica em lote na GPU, com um leque maior de tarefas; para usuários de mjlab e MuJoCo, acrescenta MPC por amostragem sobre o MuJoCo Warp. Ele tem poucos dias, então os ganhos de velocidade e sua abrangência ainda precisam ser confirmados por usuários externos.

Problema que resolve

Cinemática inversa, planejamento de movimento, retargeting, calibração e síntese de preensão costumam ser resolvidos um problema por vez, cada um com sua própria biblioteca e descrição do robô. O RoboKit os expressa como termos de custo sobre um único modelo de robô em lote e diferenciável e resolve milhares em paralelo na GPU, de modo que gerar grandes volumes de dados robóticos ou resolver muitos problemas de uma vez deixa de ser o gargalo.

Pontos principais

  • Um único kit para cinemática inversa, planejamento de movimento, retargeting, calibração mão-olho, síntese de preensão e MPC
  • Tarefas são somas de termos de custo, resolvidas para um problema ou milhares em paralelo com otimizadores por amostragem e por gradiente
  • Cinemática em lote e diferenciável a partir de URDF ou MJCF sobre o NVIDIA Warp; o PyTorch é opcional
  • MPC por amostragem via MuJoCo Warp e um caminho de treinamento por RL, com exemplos em mãos, humanoides e quadrúpedes
  • RetargetingKit e GraspKit constroem teleoperação e preensão destra sobre ele, testados em braços xArm com mãos robóticas
  • Versão 1.0.0 no PyPI sob MIT; modelos de robôs e datasets têm licenças próprias

Para quem é

  • Pesquisadores de aprendizado robótico que geram em massa movimentos transferidos, preensões ou trajetórias
  • Equipes que teleoperam mãos destras ou humanoides a partir de VR, luvas ou captura de movimento
  • Usuários de PyRoki, cuRobo ou mink que querem uma única base em lote para várias tarefas
  • Laboratórios que trabalham com preensão destra usando braços xArm e mãos robóticas

Limitações

  • Anunciado em 6 de novembro de 2026 por um único laboratório, por isso ainda tem pouco uso externo
  • As acelerações são medições dos próprios autores; o artigo com os detalhes dos testes ainda não é público
  • Modelos de robôs e datasets têm licenças próprias: vários são não comerciais (CC BY-NC) e alguns dados de movimento e de mãos (AMASS, ARCTIC, GRAB, MANO, SMPL-X) têm termos de pesquisa restritos, como informa a lista de licenças de recursos do projeto
  • Funções que exigem muita GPU precisam de hardware NVIDIA: otimização, renderização e treinamento no GraspKit exigem uma GPU CUDA, e a calibração de câmeras exige o nvdiffrast compilado para a sua versão exata de PyTorch e CUDA
  • GraspKit e RetargetingKit estão na versão 0.1.0, e seus caminhos para robôs reais são preparados para montagens específicas: braços xArm com mãos XHand, Sharpa ou Ability

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.