Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Stack ROS 2 completo + mano robotica ad alta destrezza controllata da LLM

DexHand v2

  • Costruttore: Trent Shumay / IoT Design Shop

Non solo una costruzione: Trent Shumay e IoT Design Shop sono diventati il principale contributore di software e firmware dell'intero ecosistema DexHand.

Cosa hanno costruito

Partendo dalla costruzione meccanica (stampa in resina SLA per una risoluzione più alta rispetto alla FDM), hanno poi sviluppato:

- Firmware personalizzato per Arduino Nano RP2040 Connect con interfacce BLE e USB Serial - Suite completa di pacchetti ROS 2: modello URDF, visualizzazione in RVIZ2, controller dei gesti, bridge seriale USB - Demo di controllo tramite LLM che collega GPT-4 alla mano fisica con comandi vocali, una delle prime dimostrazioni di manipolazione fine controllata da LLM (settembre 2023) - Integrazione di guanti VR con i MANUS Quantum Metagloves per una teleoperazione intuitiva - Tracciamento della mano via webcam con MediaPipe per l'uso senza controller

Perché è importante

Questa costruzione mostra tutto il potenziale della collaborazione nella robotica open source. Quella che era nata come una persona che costruiva una mano a partire da file STL si è evoluta in un ecosistema software completo, integrato nel progetto ufficiale DexHand. Il costruttore ha ottenuto il ruolo di co-maintainer, e il suo meta-pacchetto ROS 2 (52 stelle) è ora il repository più popolare dell'ecosistema DexHand.

La demo di controllo tramite LLM, che dà a GPT-4 la capacità di controllare l'estensione di ogni singolo dito e di avviare animazioni tramite linguaggio naturale, ha mostrato una visione convincente di come i modelli linguistici di grandi dimensioni possano interfacciarsi con l'hardware robotico fisico.

Dettagli tecnici

- Mano robotica ad alta destrezza a 19 gradi di libertà per circa $300 di componenti - Il remix per stampanti SLA ha aperto il progetto alla comunità delle stampanti a resina (più dettaglio rispetto alla FDM) - Controllo multi-interfaccia: BLE, seriale USB, topic ROS 2, voce/GPT-4, guanti VR (MANUS), tracciamento della mano via webcam (MediaPipe) - Tutto il codice e le configurazioni sono completamente open source in 18 repository

Dettagli

  • dof: 19 DOF
  • firmware: Custom Arduino + ROS 2 Humble
  • difficulty: Advanced
  • build_duration: Ongoing (multi-year contribution)
  • estimated_cost: $300
  • control_interfaces: BLE, USB Serial, ROS 2, GPT-4 Voice, MANUS VR Gloves, MediaPipe Webcam

Foto e video

  • ChatGPT + Robot Hand = Magic!: GPT-4 controlling individual finger extensions and animations on the DexHand via voice commands. One of the earliest LLM-controlled dexterous manipulation demos.
  • MANUS Metagloves Driving DexHand V1 in ROS 2: MANUS Quantum Metagloves reading finger angles and mapping them to the DexHand joint space in ROS 2 simulation.
  • DexHand: Open Source Dexterous Humanoid Hand: Comprehensive blog post covering the full journey — manufacturing, firmware development, ROS 2 integration, and LLM control.
  • DexHand ROS 2 Meta Package (52 stars): Complete ROS 2 package suite: URDF visualization, gesture control, USB serial bridge, and LLM control integration.
  • DexHand Mechanical Build (41 stars): STL files, build wiki, and assembly documentation. Includes SLA printer remix for higher resolution prints.
  • DexHand Project Site: Official project homepage maintained by IoT Design Shop with assembly guides, CAD models, and documentation.

Link

  • Costruttore: https://www.iotdesignshop.com

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.