在 SO-101 上零樣本執行 MolmoAct2,並記錄校正陷阱
- 製作者: Irene Grace
在 SO-101 上執行 AI2 的 MolmoAct2,不需訓練也不需示範:你給它一句話,它就會自己想出動作。模型接收來自側視 RealSense D455 的一張 RGB 影格、來自手腕網路攝影機的一張影格,以及目前的關節狀態,然後回傳一段關節目標,並以 30 Hz 透過時間集成執行。
你需要什麼
一支 SO-101 從手臂、一台用於場景視角的 RealSense D455(只用 RGB,深度不會輸入模型),以及任何一支裝在手腕上的 640x480 USB 網路攝影機。RealSense 需要 USB 3 資料線與 USB 3 連接埠;接在 USB 2.1 上會降到 15 fps,雖然仍能運作,但暖機很慢。
校正陷阱
這部分讓這個儲存庫即使你從未執行過也值得一讀。MolmoAct2 是以採用 v2.1 關節角度慣例的 LeRobot 資料集訓練的,而 LeRobot 0.5.x 以 v3.0 記錄校正。如果偏移量設錯,用儲存庫自己的話說,「手臂在啟動時會猛力撞上桌面」,這被列為最常見的失敗模式。推論腳本中預設的關節偏移量與正負號套用了官方轉換,但前提是你必須完全以 LeRobot 0.5.1 進行校正,這也是為什麼這個版本鎖定被形容為沒有商量餘地。儲存庫也要求你用自己的校正檔取代隨附的檔案,因為隨附的那份是作者手臂專用的。
坦白說明哪些做不到
已知限制的章節異常坦率。手腕網路攝影機屬於分布外資料:MolmoAct2 是以兩個第三人稱 RealSense 視角訓練的,而不是手腕視角,因此提供了 --scene-only 旗標,在表現變差時把側視影像傳兩次並略過手腕影像。深度推理是關閉的,所以模型只看到 RGB。只支援單臂,沒有主手臂或遠端操作的備援。bfloat16 推論需要 GPU;CPU 未經測試。
預期情況
首次執行時約有 15 GB 的權重、相機暖機最多 30 秒,而在筆電 GPU 上第一段推論大約需要 700 ms。另有 --dry-run 模式,只印出關節目標而不移動手臂,這是在讓模型靠近桌子之前確認它已正確載入的穩妥做法。
詳細資訊
- arm: SO-101 follower
- model: MolmoAct2-SO100_101 (Allen Institute for AI)
- cameras: RealSense D455 side view (RGB only) + USB wrist webcam
- compute: CUDA GPU, bfloat16; RTX 3080 or better suggested
- control: Joint-target chunks with temporal ensembling at 30 Hz
- licence: MIT
- training: None — zero-shot from a natural-language prompt
- framework: LeRobot 0.5.1 (pin is load-bearing)
- difficulty: Advanced
照片與影片
- irenegracekp/molmoact2-so101: The inference script, model runtime, wrist-camera handling and setup code, with a README covering hardware, pins, calibration and limitations.
- MolmoAct2 zero-shot on SO-101: The builder's clip of the arm running zero-shot, with her own note that pick precision should improve with a depth-trained model and a better wrist camera.
- MolmoAct2-SO100_101 weights: The AI2 model this build runs, downloaded automatically on first inference.
連結
- 製作者: https://github.com/irenegracekp