Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

RoboKit

Toolkit per GPU che risolve migliaia di problemi robotici di IK, pianificazione e retargeting contemporaneamente

Licenza

MIT

Codice: MIT, secondo il file LICENSE nei repository RoboKit, RetargetingKit e GraspKit. I modelli dei robot e i dataset vengono scaricati dai dataset Hugging Face del progetto e mantengono le proprie licenze: diversi sono CC BY-NC o CC BY-NC-SA (per esempio il modello della mano Inspire e DexYCB), e i dati AMASS, ARCTIC, GRAB, MANO e SMPL-X hanno condizioni di ricerca limitate. Alcuni modelli non indicano alcuna licenza (per esempio l'XHand), come riporta l'elenco delle licenze degli asset del progetto stesso. Consultare l'elenco delle licenze degli asset prima dell'uso commerciale o della ridistribuzione. Verificato il 2026-11-07 rispetto a LICENSE e all'elenco delle licenze degli asset.

Panoramica

RoboKit è un toolkit Python open source per l'ottimizzazione robotica del gruppo di Xiaolong Wang alla UC San Diego; il primo autore è Jianglong Ye. Carica un robot da URDF o MJCF, calcola una cinematica in batch e differenziabile sulla GPU e risolve compiti scritti come somme di termini di costo con ottimizzatori a campionamento e a gradiente, da un singolo problema fino a migliaia in parallelo. I compiti integrati coprono cinematica inversa, pianificazione del movimento senza collisioni, retargeting del movimento per mani e umanoidi, calibrazione mano-occhio, sintesi delle prese e controllo predittivo basato su modello (MPC) tramite MuJoCo Warp. È la base di due toolkit complementari rilasciati insieme, RetargetingKit per la teleoperazione e GraspKit per la presa ad alta destrezza. La versione 1.0.0 è su PyPI e, secondo gli autori, l'articolo che lo descrive è stato accettato come spotlight a CoRL 2026.

RoboKit tratta la maggior parte dei piccoli problemi di ottimizzazione della robotica come un unico tipo di problema. Un robot viene caricato da URDF o MJCF in una cinematica in batch e differenziabile; un compito è un insieme di termini di costo come obiettivi di posa, collisioni, limiti dei giunti e contatti; e un solver a popolazione sposta molte soluzioni candidate contemporaneamente con Levenberg-Marquardt, L-BFGS o discesa del gradiente, oppure le campiona con schemi in stile MPPI e a strategia evolutiva. La guida all'ottimizzazione mostra come questi elementi si compongono. Cinematica e geometria girano su NVIDIA Warp, PyTorch è facoltativo, e lo stesso codice gira su un problema o su migliaia in parallelo, sulla GPU quando è presente.

I compiti integrati sono la cinematica inversa con base fissa o flottante, la pianificazione del movimento offline e online attorno agli ostacoli, il retargeting del movimento di mani, umanoidi e corpo intero con contatti con oggetti facoltativi, la calibrazione della telecamera a partire da maschere del robot renderizzate e la sintesi di prese in chiusura di forza per qualsiasi mano. Con l'extra MuJoCo Warp esegue anche il controllo predittivo basato su modello (MPC) a campionamento attraverso il simulatore, e gli esempi includono una mano Sharpa che fa ruotare una penna, un Unitree G1 che sale su una scatola e un Go2 che atterra dopo i salti su appoggi scelti. Un percorso di apprendimento per rinforzo addestra policy come un Franka che assembla parti della NIST board e un Go1 che sale le scale. I modelli dei robot e i dataset vengono scaricati dal dataset Hugging Face del progetto e fissati a una revisione, e coprono bracci come il Franka Panda e l'xArm, una dozzina di umanoidi e molte mani robotiche e pinze. Le gallerie interattive in Viser si avviano direttamente dal pacchetto, come mostra la guida rapida.

RoboKit è stato annunciato il 6 novembre 2026 come parte di OpenRoboKit, insieme a due toolkit costruiti su di esso. RetargetingKit mappa il movimento umano dal vivo o registrato su mani robotiche, bracci e umanoidi, da Apple Vision Pro, PICO, guanti Manus o motion capture, per la teleoperazione in tempo reale o il retargeting in batch, con destinazioni che includono bracci xArm e mani Inspire e Ability. GraspKit esegue una pipeline completa di presa: ottimizza le prese sulla GPU, renderizza nuvole di punti, addestra una policy che mappa una nuvola di punti su una traiettoria di presa e la impiega in ManiSkill o sull'hardware; i suoi preset per robot reali abbinano bracci xArm6 e xArm7 a mani XHand, Sharpa e Ability. L'annuncio del team mostra una sessione di presa all'aperto di 16 ore a San Diego con questa configurazione. Un quarto repository, RoboSkills, raccoglie flussi di lavoro per agenti in robotica. Nel README il team riporta grandi accelerazioni in tempo reale rispetto agli strumenti con cui si confronta, tra cui PyRoki per la cinematica inversa, cuRobo per la pianificazione del movimento, GMR per il retargeting degli umanoidi e mjlab per il tempo di addestramento di una policy RL; i dettagli del benchmark sono nell'articolo, che non è ancora pubblico.

Perché è importante

Le pipeline di apprendimento robotico eseguono più e più volte le stesse piccole ottimizzazioni: la cinematica inversa per ogni fotogramma di un movimento sottoposto a retargeting, una presa per ogni oggetto di un dataset, un piano per ogni coppia di partenza e obiettivo. Oggi ciascuna di queste di solito richiede una libreria diversa con il proprio caricatore di robot, come PyRoki o mink per la cinematica, cuRobo per la pianificazione e uno strumento di retargeting separato. RoboKit le riunisce su un'unica base in batch e differenziabile, così un laboratorio può generare movimenti sottoposti a retargeting o dataset di prese su larga scala con una sola dipendenza e poi riutilizzare lo stesso modello di robot per la pianificazione e la calibrazione. I toolkit complementari mostrano che la base arriva all'hardware reale: le policy di GraspKit girano su bracci xArm con mani ad alta destrezza, e RetargetingKit comanda mani e umanoidi dal vivo. Per i lettori delle nostre pagine su frax e PyRoki è la novità più recente nella cinematica robotica in batch su GPU, con un insieme più ampio di compiti; per gli utenti di mjlab e MuJoCo aggiunge l'MPC a campionamento su MuJoCo Warp. Ha pochi giorni di vita, quindi le dichiarazioni sulla velocità e l'ampiezza devono ancora essere confermate da utenti esterni.

Il problema che risolve

Cinematica inversa, pianificazione del movimento, retargeting, calibrazione e sintesi delle prese vengono di solito risolti un problema alla volta, ciascuno con la propria libreria e la propria descrizione del robot. RoboKit li esprime come termini di costo su un unico modello di robot in batch e differenziabile e ne risolve migliaia in parallelo sulla GPU, così produrre grandi quantità di dati robotici o risolvere molti problemi contemporaneamente smette di essere il collo di bottiglia.

Punti chiave

  • Un unico toolkit per cinematica inversa, pianificazione del movimento, retargeting, calibrazione mano-occhio, sintesi delle prese e MPC
  • I compiti sono somme di termini di costo, risolti per un problema o per migliaia in parallelo con ottimizzatori a campionamento e a gradiente
  • Cinematica in batch e differenziabile da URDF o MJCF su NVIDIA Warp; PyTorch è facoltativo
  • MPC a campionamento tramite MuJoCo Warp e un percorso di addestramento RL, con esempi su mani, umanoidi e quadrupedi
  • RetargetingKit e GraspKit costruiscono su di esso la teleoperazione e la presa ad alta destrezza, testate su bracci xArm con mani robotiche
  • Versione 1.0.0 su PyPI con licenza MIT; i modelli dei robot e i dataset hanno licenze proprie

A chi si rivolge

  • Ricercatori di apprendimento robotico che generano in massa movimenti sottoposti a retargeting, prese o traiettorie
  • Team che teleoperano mani ad alta destrezza o umanoidi da VR, guanti o motion capture
  • Utenti di PyRoki, cuRobo o mink che vogliono un'unica base in batch per diversi compiti
  • Laboratori che lavorano sulla presa ad alta destrezza con bracci xArm e mani robotiche

Limiti

  • Annunciato il 6 novembre 2026 da un solo laboratorio, quindi finora ha avuto poco uso esterno
  • Le accelerazioni sono misurazioni degli autori stessi; l'articolo con i dettagli del benchmark non è ancora pubblico
  • I modelli dei robot e i dataset hanno licenze proprie: diversi sono non commerciali (CC BY-NC) e alcuni dati di movimento e di mani (AMASS, ARCTIC, GRAB, MANO, SMPL-X) hanno condizioni di ricerca limitate, come indica l'elenco delle licenze degli asset del progetto
  • Le funzioni più pesanti per la GPU richiedono hardware NVIDIA: ottimizzazione, rendering e addestramento di GraspKit richiedono una GPU CUDA, e la calibrazione della telecamera richiede nvdiffrast compilato per la versione esatta di PyTorch e CUDA in uso
  • GraspKit e RetargetingKit sono alla versione 0.1.0, e i loro percorsi per robot reali sono configurati per rig specifici: bracci xArm con mani XHand, Sharpa o Ability

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.