Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

LeFranX

Estensione di LeRobot per il braccio robotico Franka con XHand e teleoperazione in VR

Licenza

Apache-2.0

Panoramica

LeFranX è un'estensione di LeRobot per il braccio robotico Franka FER abbinato alla mano robotica XHand. Fa parte del framework LeVR per la teleoperazione in VR modulare e l'apprendimento per imitazione. Il repository include il server Franka per il controllo in tempo reale, un'interfaccia di teleoperazione in VR che combina l'input della mano e il controllo del robot, e implementazioni di classi LeRobot. I compiti dimostrativi includono pick-and-place e scenari di manipolazione, con dataset open source disponibili su HuggingFace.

LeFranX realizza un'estensione del framework di apprendimento per imitazione LeRobot specifica per il braccio robotico Franka FER abbinato alla mano robotica XHand. È un'istanza del framework LeVR, una pipeline modulare di teleoperazione in VR e di dati per l'apprendimento robotico da dimostrazione. Il progetto comprende tre componenti principali: franka_server per il controllo del robot in tempo reale, franka_xhand_teleoperator per l'integrazione dell'input della mano in VR e le implementazioni di classi LeRobot in src/lerobot.

Perché è importante

LeFranX colma il divario tra l'hardware di ricerca costoso e l'ecosistema software di LeRobot. Abbinando un braccio Franka all'XHand e alla teleoperazione in VR, consente la raccolta di dimostrazioni di alta qualità su hardware di livello professionale con uno stack software accessibile.

Il problema che risolve

Fornisce le classi Robot e Teleoperator per LeRobot, un server Franka e la teleoperazione in VR per il Franka FER con l'XHand.

Punti chiave

  • Combina il braccio robotico Franka FER con la mano robotica XHand
  • Fa parte del framework modulare di teleoperazione in VR LeVR
  • Classi Robot e Teleoperator per LeRobot, un server Franka e la teleoperazione in VR per il Franka FER con l'XHand
  • Teleoperazione basata su VR per una raccolta intuitiva delle dimostrazioni
  • Il design modulare supporta diverse combinazioni di robot e mano

A chi si rivolge

  • Ricercatori con bracci Franka che raccolgono dati di dimostrazione
  • Team che costruiscono pipeline di apprendimento per imitazione su hardware professionale
  • Laboratori che esplorano la teleoperazione in VR per l'apprendimento robotico
  • Sviluppatori che estendono LeRobot a nuove piattaforme robotiche

Limiti

  • Non c'è hardware da costruire: LeFranX è un'estensione software, ed è necessario possedere già un Franka FER e un XHand.
  • Testato solo sul commit ce3b9f6 di LeRobot con Ubuntu 24.04 e Python 3.12.
  • Nessuna interfaccia per la pinza Franka Hand.
  • Per la teleoperazione è necessario un visore VR

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.