LeFranX
Estensione di LeRobot per il braccio robotico Franka con XHand e teleoperazione in VR
Licenza
Apache-2.0
Panoramica
LeFranX è un'estensione di LeRobot per il braccio robotico Franka FER abbinato alla mano robotica XHand. Fa parte del framework LeVR per la teleoperazione in VR modulare e l'apprendimento per imitazione. Il repository include il server Franka per il controllo in tempo reale, un'interfaccia di teleoperazione in VR che combina l'input della mano e il controllo del robot, e implementazioni di classi LeRobot. I compiti dimostrativi includono pick-and-place e scenari di manipolazione, con dataset open source disponibili su HuggingFace.
LeFranX realizza un'estensione del framework di apprendimento per imitazione LeRobot specifica per il braccio robotico Franka FER abbinato alla mano robotica XHand. È un'istanza del framework LeVR, una pipeline modulare di teleoperazione in VR e di dati per l'apprendimento robotico da dimostrazione. Il progetto comprende tre componenti principali: franka_server per il controllo del robot in tempo reale, franka_xhand_teleoperator per l'integrazione dell'input della mano in VR e le implementazioni di classi LeRobot in src/lerobot.
Perché è importante
LeFranX colma il divario tra l'hardware di ricerca costoso e l'ecosistema software di LeRobot. Abbinando un braccio Franka all'XHand e alla teleoperazione in VR, consente la raccolta di dimostrazioni di alta qualità su hardware di livello professionale con uno stack software accessibile.
Il problema che risolve
Fornisce le classi Robot e Teleoperator per LeRobot, un server Franka e la teleoperazione in VR per il Franka FER con l'XHand.
Punti chiave
- Combina il braccio robotico Franka FER con la mano robotica XHand
- Fa parte del framework modulare di teleoperazione in VR LeVR
- Classi Robot e Teleoperator per LeRobot, un server Franka e la teleoperazione in VR per il Franka FER con l'XHand
- Teleoperazione basata su VR per una raccolta intuitiva delle dimostrazioni
- Il design modulare supporta diverse combinazioni di robot e mano
A chi si rivolge
- Ricercatori con bracci Franka che raccolgono dati di dimostrazione
- Team che costruiscono pipeline di apprendimento per imitazione su hardware professionale
- Laboratori che esplorano la teleoperazione in VR per l'apprendimento robotico
- Sviluppatori che estendono LeRobot a nuove piattaforme robotiche
Limiti
- Non c'è hardware da costruire: LeFranX è un'estensione software, ed è necessario possedere già un Franka FER e un XHand.
- Testato solo sul commit ce3b9f6 di LeRobot con Ubuntu 24.04 e Python 3.12.
- Nessuna interfaccia per la pinza Franka Hand.
- Per la teleoperazione è necessario un visore VR