全端操作框架:從 3D 列印到擴散策略
- 製作者: Thanh Nguyen (LAAS-CNRS)
一套全面的全端操作框架,出自 LAAS-CNRS 的一位機器人博士研究人員,涵蓋從 3D 列印 SO-ARM100,到執行擴散策略與視覺語言動作(VLA)模型的所有內容,是 SO-100/101 平台最完整的軟體指南。
打造了什麼
Thanh Nguyen 是 LAAS-CNRS(Toulouse, France)Gepetto 機器人團隊的博士研究人員,他建立了一套模組化的全端框架,把 SO-ARM100 從一支簡單的伺服機驅動手臂,提升為研究等級的操作平台:
- 硬體堆疊:URDF 模型、系統鑑別、3D 列印指南 - 狀態估計:結合攝影機、動作捕捉與慣性量測單元(IMU)的多感測器融合 - 模擬:與 MuJoCo、Gazebo 及 NVIDIA Isaac Sim 完整整合 - 基於模型的控制:MoveIt 2 運動規劃、視覺伺服、MPC - 基於學習的堆疊:LeRobot 擴散策略、RL 訓練、VLA(視覺語言動作)研究 - 評估:用於比較各種方法的基準測試框架
技術架構
專案採用清楚的模組化結構:
``` fullstack-manip/ ├── hardware/ # 機器人模型、CAD、系統鑑別 ├── state_estimation/ # 多感測器融合、校正 ├── simulation/ # MuJoCo、Gazebo、Isaac Sim 環境 ├── control/ # 低階與高階控制器 ├── planning/ # MoveIt 2 運動規劃 ├── perception/ # 視覺伺服、視覺模組 ├── learning/ # RL、VLA、資料集、LeRobot 整合 ├── evaluation/ # 基準測試與指標 └── docs/ # 完整文件 ```
每個模組都設計成可獨立運作,也可作為完整流程的一部分,因此很容易只使用模擬堆疊、只使用學習流程,或使用整個系統。
為什麼重要
大多數 SO-100/101 作品只聚焦單一面向(通常是 LeRobot 模仿學習),這個專案卻獨特地涵蓋了整個機器人軟體堆疊:從古典的基於模型控制,到現代的基於學習方法。這使它在以下方面極具價值:
1. 教育資源:博士等級的文件,涵蓋古典與現代方法 2. 研究平台:現成的基礎架構,可比較基於模型與基於學習的操作 3. 參考實作:示範如何將 ROS2、MoveIt、MuJoCo、Isaac Sim 與 LeRobot 正確整合到 SO-ARM100 上
這個有 67 次提交、採用 Apache 2.0 授權並附有完整文件(12+ 份詳細技術文件)的儲存庫,是所有開源機器手臂作品中軟體處理最透徹的之一。
關於製作者
Thanh Nguyen 任職於 LAAS-CNRS 的 Gepetto 團隊。LAAS-CNRS 是法國頂尖的機器人實驗室之一,以在人形機器人行走運動與最佳控制方面的貢獻聞名。這種學術嚴謹性,反映在專案對文件與軟體架構的系統化處理上。
詳細資訊
- firmware: FEETECH STS3215 servo driver
- difficulty: Advanced
- build_duration: Ongoing research project
- estimated_cost: €200-400
- control_interfaces: ROS2 topics, MoveIt 2, MuJoCo, Isaac Sim, LeRobot, VLA
照片與影片
- fullstack-manip — Full-Stack Manipulation Framework: Modular framework covering hardware, simulation (MuJoCo/Gazebo/Isaac Sim), control (MoveIt 2), and learning (LeRobot/VLA). 67 commits, Apache 2.0 license.
- Full-Stack Manipulation with SO-ARM100 — Blog Post: Comprehensive blog post covering the entire journey from 3D printing to running diffusion policies, with detailed technical breakdowns of each software layer.
- LAAS-CNRS Gepetto Team: Builder's research group at LAAS-CNRS (Toulouse, France), known for humanoid locomotion and optimal control research.
連結
- 製作者: https://github.com/thanhndv212