Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

DexSuite

Framework di simulazione per la manipolazione fine: qualsiasi compito con qualsiasi braccio e mano

Licenza

  • code: MIT
  • datasets (Hugging Face, dexsuite/*): Apache 2.0

Licenze separate. Il codice di DexSuite è MIT. I modelli di robot, mani e oggetti in dexsuite/models mantengono le proprie licenze, elencate in THIRD_PARTY_LICENSES.md: per lo più Apache-2.0, BSD e MIT da MuJoCo Menagerie e dex-urdf, con la mano Schunk SVH e il flacone spray blu sotto GPL-3.0, gli oggetti YCB sotto CC BY 4.0 e il toast sotto CC BY-SA 4.0. Alcuni modelli non sono aperti per ogni uso: gli oggetti PartNet-Mobility e la cassaforte, la finestra, il portagioie e le pinze di Artiverse sono solo per la ricerca, e i modelli delle mani PSYONIC Ability e Inspire non indicano alcuna licenza. I dataset su Hugging Face sono Apache-2.0. Verificato il 4 nov 2026.

Panoramica

DexSuite è un framework di simulazione con licenza MIT per la manipolazione fine, costruito sul simulatore Genesis da ricercatori della McGill University e di Mila. Un compito si scrive una sola volta e gira con uno qualsiasi dei suoi 10 bracci e 11 end effector, dalle pinze a ganasce parallele alla Shadow Hand a 24 giunti, attraverso un'API in stile Gymnasium con ambienti in batch. Aggiunge la teleoperazione integrata (tastiera, SpaceMouse, HTC Vive e guanto Manus), cuscinetti tattili sulla sua pinza UMI, un benchmark a due percorsi e 4.700 episodi dimostrativi registrati, pubblicati in formato LeRobot.

DexSuite copre l'intero flusso di lavoro della manipolazione fine in un unico pacchetto Python: configurazione di un robot, raccolta di dimostrazioni e valutazione delle policy. Gira su Genesis, e la maggior parte dei suoi modelli di robot e di mani proviene da MuJoCo Menagerie.

ds.make(task, manipulator=…, gripper=…) costruisce un ambiente a partire da qualsiasi coppia di braccio ed end effector. I bracci vanno dal Franka Panda, Kinova Gen3, KUKA iiwa e UR5e fino all'SO-100, e gli end effector dalla Robotiq 2F-85 alle mani Allegro, LEAP, Inspire, Ability, Shadow e Sharpa; un polso flottante fa funzionare una mano da sola. Ogni compito mantiene lo stesso reset, le stesse osservazioni e la stessa verifica di successo per ogni embodiment, così una pinza e una mano possono essere confrontate a parità di condizioni. Gli ambienti girano in batch in un unico simulatore (n_envs=64), restituiscono propriocezione, stato del compito e telecamere RGB, di profondità e di segmentazione, e accettano comandi di posa dell'end effector, posizione dei giunti, velocità o coppia. La pinza UMI porta una griglia di 12 per 32 taxel tattili per dito.

Il benchmark ha due percorsi: cinque compiti che sia una pinza sia una mano possono svolgere, e compiti di manipolazione fine come sollevare una padella per il manico, puntare un trapano, mettere in piedi il pane in un tostapane e spruzzare attraverso uno stencil. Su 31 compiti in tutto, a braccio singolo e bimanuali, il team ha registrato 4.700 episodi per le 16 coppie compito-embodiment del benchmark, da teleoperazione umana, esperti scriptati e generazione automatica, e li ha pubblicati su Hugging Face in formato LeRobot con un'esportazione HDF5 per robomimic. Il repository include script di addestramento e valutazione per robomimic, tra cui una policy ACT.

Perché è importante

Le mani ad alta destrezza sono la direzione verso cui si muove gran parte della ricerca sull'apprendimento robotico, ma la maggior parte dei framework di simulazione è incentrata sulle pinze parallele o lega ogni compito a un solo robot, e pochi collegano teleoperazione, registrazione dei dati e valutazione in un unico posto. DexSuite permette a un ricercatore di sostituire una pinza con una mano ad alta destrezza con un solo argomento, mantenendo invariati compito, osservazioni e verifica di successo, il che rende semplici i confronti tra pinza e mano e la raccolta di dati cross-embodiment. Viene distribuito con i dati già registrati, nel formato LeRobot su cui la comunità addestra, con documentazione e un pacchetto PyPI (GitHub).

Il problema che risolve

Allestire un esperimento di manipolazione fine di solito significa collegare un modello di mano a un braccio, scrivere i controller, costruire un percorso di teleoperazione per un guanto o un tracker, registrare i dati in un formato utilizzabile e poi creare compiti che funzionano solo con quel robot. DexSuite fornisce questi elementi come un unico framework, con compiti definiti indipendentemente dal braccio e dalla mano, così lo stesso esperimento gira su embodiment diversi.

Punti chiave

  • Uno qualsiasi dei 31 compiti gira con uno qualsiasi di 10 bracci e 11 end effector, dalle pinze parallele alla Shadow Hand a 24 giunti
  • Costruito su Genesis con un'API in stile Gymnasium, ambienti in batch e telecamere RGB, di profondità e di segmentazione
  • Teleoperazione tramite tastiera, SpaceMouse, HTC Vive o un guanto Manus con retargeting sulla mano montata
  • Benchmark a due percorsi che confronta pinze e mani sugli stessi compiti, più compiti di manipolazione fine con un trapano, una padella e una bomboletta spray
  • 4.700 episodi dimostrativi in formato LeRobot su Hugging Face (Apache-2.0), con script di addestramento robomimic

A chi si rivolge

  • Ricercatori che lavorano sulla manipolazione fine e sulle mani a più dita
  • Gruppi di apprendimento robotico che confrontano pinze e mani o raccolgono dimostrazioni cross-embodiment
  • Team che effettuano la teleoperazione con guanti, tracker VR o SpaceMouse e hanno bisogno di dati in formato LeRobot
  • Studenti che vogliono compiti di manipolazione fine già pronti senza dover prima costruire un setup robotico

Limiti

  • Solo simulazione, quindi le policy addestrate qui devono comunque affrontare il divario con l'hardware reale
  • Richiede una GPU CUDA per un uso pratico, e il primo ambiente su una macchina impiega circa un minuto a compilare i kernel di Genesis
  • Rilasciato a fine ottobre 2026, con l'articolo (arXiv 2610.37799) ancora in revisione
  • Non tutti i bracci accettano tutti gli end effector; la tabella di compatibilità elenca le coppie
  • Alcuni modelli di oggetti inclusi (PartNet-Mobility) sono solo per ricerca e didattica non commerciali, e altri modelli mantengono le proprie licenze

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.