完整 ROS 2 堆疊 + LLM 控制的靈巧機器手
- 製作者: Trent Shumay / IoT Design Shop
不只是一個作品:Trent Shumay 與 IoT Design Shop 成為整個 DexHand 生態系的主要軟體與韌體貢獻者。
他們打造了什麼
從機械組裝開始(以 SLA 樹脂列印取得比 FDM 更高的解析度),他們進一步開發了:
- 適用於 Arduino Nano RP2040 Connect 的自訂韌體,具備 BLE 與 USB Serial 介面 - 完整的 ROS 2 套件組:URDF 模型、RVIZ2 視覺化、手勢控制器、USB 序列橋接 - LLM 控制展示,透過語音指令將 GPT-4 連接到實體機器手,是最早的 LLM 控制靈巧操作展示之一(2023 年 9 月) - VR 手套整合,使用 MANUS Quantum Metagloves 進行直覺的遠端操作 - 透過 MediaPipe 進行網路攝影機手部追蹤,無需控制器即可操作
為什麼重要
這個作品展現了開源機器人協作的全部潛力。原本只是一個人用 STL 檔案組裝一隻機器手,後來發展成一套完整的軟體生態系,並已併入官方 DexHand 專案。製作者獲得了共同維護者的身分,他們的 ROS 2 meta package(52 個星號)如今是 DexHand 生態系中最受歡迎的儲存庫。
這個 LLM 控制展示讓 GPT-4 能以自然語言控制個別手指的伸展並觸發動畫,生動地描繪出大型語言模型如何與實體機器人硬體互動的願景。
技術細節
- 19 自由度的靈巧機器手,零件成本約 $300 - SLA 印表機改版設計,讓樹脂印表機社群也能使用這個設計(細節比 FDM 更高) - 多介面控制:BLE、USB serial、ROS 2 topics、語音/GPT-4、VR 手套(MANUS)、網路攝影機手部追蹤(MediaPipe) - 所有程式碼與設定檔完全開源,分布在 18 個儲存庫中
詳細資訊
- dof: 19 DOF
- firmware: Custom Arduino + ROS 2 Humble
- difficulty: Advanced
- build_duration: Ongoing (multi-year contribution)
- estimated_cost: $300
- control_interfaces: BLE, USB Serial, ROS 2, GPT-4 Voice, MANUS VR Gloves, MediaPipe Webcam
照片與影片
- ChatGPT + Robot Hand = Magic!: GPT-4 controlling individual finger extensions and animations on the DexHand via voice commands. One of the earliest LLM-controlled dexterous manipulation demos.
- MANUS Metagloves Driving DexHand V1 in ROS 2: MANUS Quantum Metagloves reading finger angles and mapping them to the DexHand joint space in ROS 2 simulation.
- DexHand: Open Source Dexterous Humanoid Hand: Comprehensive blog post covering the full journey — manufacturing, firmware development, ROS 2 integration, and LLM control.
- DexHand ROS 2 Meta Package (52 stars): Complete ROS 2 package suite: URDF visualization, gesture control, USB serial bridge, and LLM control integration.
- DexHand Mechanical Build (41 stars): STL files, build wiki, and assembly documentation. Includes SLA printer remix for higher resolution prints.
- DexHand Project Site: Official project homepage maintained by IoT Design Shop with assembly guides, CAD models, and documentation.
連結
- 製作者: https://www.iotdesignshop.com