Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

完整 ROS 2 堆疊 + LLM 控制的靈巧機器手

DexHand v2

  • 製作者: Trent Shumay / IoT Design Shop

不只是一個作品:Trent Shumay 與 IoT Design Shop 成為整個 DexHand 生態系的主要軟體與韌體貢獻者。

他們打造了什麼

從機械組裝開始(以 SLA 樹脂列印取得比 FDM 更高的解析度),他們進一步開發了:

- 適用於 Arduino Nano RP2040 Connect 的自訂韌體,具備 BLE 與 USB Serial 介面 - 完整的 ROS 2 套件組:URDF 模型、RVIZ2 視覺化、手勢控制器、USB 序列橋接 - LLM 控制展示,透過語音指令將 GPT-4 連接到實體機器手,是最早的 LLM 控制靈巧操作展示之一(2023 年 9 月) - VR 手套整合,使用 MANUS Quantum Metagloves 進行直覺的遠端操作 - 透過 MediaPipe 進行網路攝影機手部追蹤,無需控制器即可操作

為什麼重要

這個作品展現了開源機器人協作的全部潛力。原本只是一個人用 STL 檔案組裝一隻機器手,後來發展成一套完整的軟體生態系,並已併入官方 DexHand 專案。製作者獲得了共同維護者的身分,他們的 ROS 2 meta package(52 個星號)如今是 DexHand 生態系中最受歡迎的儲存庫。

這個 LLM 控制展示讓 GPT-4 能以自然語言控制個別手指的伸展並觸發動畫,生動地描繪出大型語言模型如何與實體機器人硬體互動的願景。

技術細節

- 19 自由度的靈巧機器手,零件成本約 $300 - SLA 印表機改版設計,讓樹脂印表機社群也能使用這個設計(細節比 FDM 更高) - 多介面控制:BLE、USB serial、ROS 2 topics、語音/GPT-4、VR 手套(MANUS)、網路攝影機手部追蹤(MediaPipe) - 所有程式碼與設定檔完全開源,分布在 18 個儲存庫中

詳細資訊

  • dof: 19 DOF
  • firmware: Custom Arduino + ROS 2 Humble
  • difficulty: Advanced
  • build_duration: Ongoing (multi-year contribution)
  • estimated_cost: $300
  • control_interfaces: BLE, USB Serial, ROS 2, GPT-4 Voice, MANUS VR Gloves, MediaPipe Webcam

照片與影片

  • ChatGPT + Robot Hand = Magic!: GPT-4 controlling individual finger extensions and animations on the DexHand via voice commands. One of the earliest LLM-controlled dexterous manipulation demos.
  • MANUS Metagloves Driving DexHand V1 in ROS 2: MANUS Quantum Metagloves reading finger angles and mapping them to the DexHand joint space in ROS 2 simulation.
  • DexHand: Open Source Dexterous Humanoid Hand: Comprehensive blog post covering the full journey — manufacturing, firmware development, ROS 2 integration, and LLM control.
  • DexHand ROS 2 Meta Package (52 stars): Complete ROS 2 package suite: URDF visualization, gesture control, USB serial bridge, and LLM control integration.
  • DexHand Mechanical Build (41 stars): STL files, build wiki, and assembly documentation. Includes SLA printer remix for higher resolution prints.
  • DexHand Project Site: Official project homepage maintained by IoT Design Shop with assembly guides, CAD models, and documentation.

連結

  • 製作者: https://www.iotdesignshop.com

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。