Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Grabette

以 LeRobot 資料集格式錄製機器人操作資料的開放手持裝置

授權條款

Apache-2.0

概述

Pollen Robotics(Hugging Face)推出的開源手持系統,用於錄製機器人操作示範。Grabette 裝置從手持或安裝在夾爪上的裝置錄製同步的攝影機與慣性量測單元(IMU)資料串流,以 SLAM 還原攝影機軌跡,並匯出 LeRobot 資料集供策略學習使用。這條資料收集流程不綁定特定機器人,並以安裝版變體(Gripette)與 OpenArm 整合作為參考範例。

這套系統有四個部分:手持式 Grabette 記錄器(Raspberry Pi 4、OAK-D SR 立體深度攝影機、Arducam 魚眼鏡頭、PiSugar 電池,以及夾爪樞軸上的自製角度感測器)、安裝在機器人上的 Gripette 夾爪、執行 SLAM 並輸出 LeRobot 資料集的後處理流程,以及各項整合:以 OpenArm 7 自由度手臂為參考,包括 URDF/MuJoCo 模型、擴散策略訓練程式碼與 pi0.5 微調流程。自製電子元件(角度感測器、HMI、Pi HAT)是開放的 KiCad 設計,收錄於 elec_grabette 儲存庫。硬體 CAD 發布於 Onshape,STL 與 STEP 檔案則放在儲存庫中(Git LFS),並同時支援左手與右手版本。

為何重要

機器人學習的瓶頸已從模型轉移到資料。Grabette 以一個任何人都能列印與組裝的裝置來處理這個問題:示範以手動收集,收集期間不需要機器人,並直接匯出為 LeRobot 資料集,匯入共享的社群資料池。

解決的問題

收集機器人操作示範通常需要一台裝設儀器的機器人與遠端操作設備,使得大型多樣的資料集成本高昂。Grabette 將收集工作移到一個夾爪造型的手持記錄器上:攝影機與慣性量測單元(IMU)擷取示範,SLAM 事後還原軌跡,輸出即可直接用於訓練。

重點

  • 手持式收集讓示範收集與機器人硬體脫鉤:任何人都能貢獻資料
  • 同步的攝影機與慣性量測單元(IMU)資料串流加上離線 SLAM,取代昂貴的動作捕捉或機器人運動學
  • 直接匯出 LeRobot 資料集,可直接接入開放的策略學習生態系
  • 整個軟體堆疊完全開放:可列印的 CAD、KiCad 電子設計、韌體、後處理與訓練整合
  • Gripette 變體將同一套感測裝置安裝在真實機器人上,用於收集機上微調資料

適用對象

  • 建構操作資料集的機器人學習研究人員
  • 想在沒有第二台機器人的情況下取得訓練資料的 lerobot 生態系開發者
  • 跨據點標準化分散式資料收集的實驗室
  • 為共享社群資料集貢獻示範的自造者

限制

  • 非常新的專案:2026 年 7 月才公開推出,硬體與軟體預計會快速改版
  • 仰賴特定的攝影機硬體(OAK-D SR、Arducam 魚眼鏡頭),其供貨與價格因地區而異
  • 與裝設儀器的擷取設備相比,以 SLAM 還原的軌跡會犧牲部分精度

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。