Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Hand Tracking Streamer

App per Meta Quest che trasmette in diretta i dati di tracciamento delle mani per la teleoperazione di robot

Licenza

Apache-2.0

Panoramica

Hand Tracking Streamer è un'applicazione VR per Meta Quest che trasmette in streaming dati in tempo reale sul movimento delle mani e dei polsi per la teleoperazione robotica e il motion capture. Basata su Meta Interaction SDK, acquisisce dati della mano con 21 punti di riferimento e la posa del polso a 6 gradi di libertà, trasmettendoli in Wi-Fi tramite UDP (bassa latenza) o TCP (registrazione affidabile). L'app supporta le modalità mano sinistra, mano destra o entrambe le mani, con configurazione all'interno del visore, una console di log in tempo reale e la visualizzazione di una mano fantasma per il debug. Un SDK Python complementare consente l'integrazione nelle pipeline robotiche, con parsing strutturato dei frame, conversione delle coordinate e API pronte per ROS2.

Hand Tracking Streamer (HTS) è un'applicazione per Meta Quest pensata per lo streaming in tempo reale della telemetria delle mani. Traccia 21 punti di riferimento della mano e la posa del polso a 6 gradi di libertà per ciascuna mano, trasmettendo pacchetti di dati strutturati in Wi-Fi. Il sistema usa UDP per un controllo robotico a latenza bassissima oppure TCP per una registrazione affidabile dei dati. I dati vengono inviati come posizioni dei giunti e orientamenti in quaternioni codificati in CSV, nello spazio mondo di Unity.

L'SDK Python complementare (hand-tracking-sdk) offre un livello di integrazione pulito: HTSClient gestisce le connessioni di streaming, HandFrameAssembler unisce i dati del polso e dei punti di riferimento in frame completi, e i convertitori di coordinate integrati gestiscono le trasformazioni dallo spazio sinistrorso di Unity a quello destrorso. L'SDK supporta lo sviluppo di adattatori ROS2 senza dipendenze rigide da ROS, grazie a timestamp espliciti e a una serializzazione deterministica.

Le applicazioni pratiche comprendono la teleoperazione di robot (dimostrata con una simulazione MuJoCo), il retargeting del movimento su mani robotiche per la manipolazione fine, la raccolta di dati per l'apprendimento per imitazione e la prototipazione basata sui gesti. Il progetto fa parte di un ecosistema più ampio dello stesso autore, che comprende BiDexHand (mano robotica per la manipolazione fine) e LeFranX (controllo del braccio robotico Franka con teleoperazione in VR).

Perché è importante

Il tracciamento delle mani in VR sta diventando una modalità di input chiave per la teleoperazione dei robot e l'apprendimento per imitazione. Hand Tracking Streamer elimina l'ostacolo di dover costruire un'infrastruttura di streaming VR personalizzata, offrendo un'app gratuita e curata con un vero SDK Python. Permette ai ricercatori di configurare rapidamente il controllo di robot guidato dalle mani senza competenze di sviluppo in Unity o VR.

Il problema che risolve

Configurare il tracciamento delle mani in VR per la robotica richiede un notevole sviluppo in Unity, codice di rete e un'infrastruttura di parsing dei dati. HTS offre una soluzione chiavi in mano: si installa l'app sul Quest, si installa l'SDK con pip e in pochi minuti si iniziano a ricevere in Python frame della mano strutturati.

Punti chiave

  • Trasmette in tempo reale, in Wi-Fi, i dati della mano con 21 punti di riferimento e la posa del polso a 6 gradi di libertà
  • Gratuita sul Meta Quest Store, con SDK Python complementare su PyPI
  • Supporta sia UDP (controllo a bassa latenza) sia TCP (registrazione affidabile)
  • Integrazione pronta per ROS2 senza dipendenze rigide da ROS
  • Fa parte di un ecosistema completo di teleoperazione in VR (BiDexHand + LeFranX + HTS)

A chi si rivolge

  • Ricercatori di robotica che raccolgono dimostrazioni in teleoperazione
  • Team che costruiscono pipeline di apprendimento per imitazione con input VR
  • Sviluppatori che prototipano il controllo di robot basato sui gesti
  • Laboratori che esplorano la manipolazione fine con il retargeting della mano

Limiti

  • Richiede un visore Meta Quest (Quest 2, Pro, 3 o 3S)
  • Serve una connessione Wi-Fi tra il visore e il PC ricevente
  • La precisione del tracciamento delle mani dipende dalla qualità del tracciamento delle mani integrato di Meta
  • Per compilare dai sorgenti serve Unity 6000+

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.