Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

在 SO-101 上零樣本執行 MolmoAct2,並記錄校正陷阱

SO-101 Open Robot Arm

  • 製作者: Irene Grace

在 SO-101 上執行 AI2 的 MolmoAct2,不需訓練也不需示範:你給它一句話,它就會自己想出動作。模型接收來自側視 RealSense D455 的一張 RGB 影格、來自手腕網路攝影機的一張影格,以及目前的關節狀態,然後回傳一段關節目標,並以 30 Hz 透過時間集成執行。

你需要什麼

一支 SO-101 從手臂、一台用於場景視角的 RealSense D455(只用 RGB,深度不會輸入模型),以及任何一支裝在手腕上的 640x480 USB 網路攝影機。RealSense 需要 USB 3 資料線與 USB 3 連接埠;接在 USB 2.1 上會降到 15 fps,雖然仍能運作,但暖機很慢。

校正陷阱

這部分讓這個儲存庫即使你從未執行過也值得一讀。MolmoAct2 是以採用 v2.1 關節角度慣例的 LeRobot 資料集訓練的,而 LeRobot 0.5.x 以 v3.0 記錄校正。如果偏移量設錯,用儲存庫自己的話說,「手臂在啟動時會猛力撞上桌面」,這被列為最常見的失敗模式。推論腳本中預設的關節偏移量與正負號套用了官方轉換,但前提是你必須完全以 LeRobot 0.5.1 進行校正,這也是為什麼這個版本鎖定被形容為沒有商量餘地。儲存庫也要求你用自己的校正檔取代隨附的檔案,因為隨附的那份是作者手臂專用的。

坦白說明哪些做不到

已知限制的章節異常坦率。手腕網路攝影機屬於分布外資料:MolmoAct2 是以兩個第三人稱 RealSense 視角訓練的,而不是手腕視角,因此提供了 --scene-only 旗標,在表現變差時把側視影像傳兩次並略過手腕影像。深度推理是關閉的,所以模型只看到 RGB。只支援單臂,沒有主手臂或遠端操作的備援。bfloat16 推論需要 GPU;CPU 未經測試。

預期情況

首次執行時約有 15 GB 的權重、相機暖機最多 30 秒,而在筆電 GPU 上第一段推論大約需要 700 ms。另有 --dry-run 模式,只印出關節目標而不移動手臂,這是在讓模型靠近桌子之前確認它已正確載入的穩妥做法。

詳細資訊

  • arm: SO-101 follower
  • model: MolmoAct2-SO100_101 (Allen Institute for AI)
  • cameras: RealSense D455 side view (RGB only) + USB wrist webcam
  • compute: CUDA GPU, bfloat16; RTX 3080 or better suggested
  • control: Joint-target chunks with temporal ensembling at 30 Hz
  • licence: MIT
  • training: None — zero-shot from a natural-language prompt
  • framework: LeRobot 0.5.1 (pin is load-bearing)
  • difficulty: Advanced

照片與影片

  • irenegracekp/molmoact2-so101: The inference script, model runtime, wrist-camera handling and setup code, with a README covering hardware, pins, calibration and limitations.
  • MolmoAct2 zero-shot on SO-101: The builder's clip of the arm running zero-shot, with her own note that pick precision should improve with a depth-trained model and a better wrist camera.
  • MolmoAct2-SO100_101 weights: The AI2 model this build runs, downloaded automatically on first inference.

連結

  • 製作者: https://github.com/irenegracekp

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。