MolmoAct2 zero-shot su un SO-101, con la trappola della calibrazione documentata
- Costruttore: Irene Grace
Eseguire MolmoAct2 di AI2 su un SO-101 senza addestramento e senza dimostrazioni: gli si dà una frase e ricava da solo i movimenti. Il modello riceve un fotogramma RGB da una RealSense D455 in vista laterale, un fotogramma da una webcam sul polso e lo stato attuale dei giunti, e restituisce un blocco di posizioni target dei giunti eseguite con ensembling temporale a 30 Hz.
Cosa serve
Un braccio follower SO-101, una RealSense D455 per la vista della scena (solo RGB: la profondità non viene passata al modello) e una qualsiasi webcam USB 640x480 sul polso. La RealSense richiede un cavo dati USB 3 e una porta USB 3; su USB 2.1 scende a 15 fps, il che funziona comunque ma rende lento il riscaldamento.
La trappola della calibrazione
È la parte che rende il repository da leggere anche se non lo eseguirete mai. MolmoAct2 è stato addestrato su dataset LeRobot con la convenzione degli angoli dei giunti v2.1, mentre LeRobot 0.5.x registra le calibrazioni in v3.0. Se si sbagliano gli offset, secondo le parole del repository, "all'avvio il braccio sbatterà con forza contro il tavolo", indicato come il guasto più comune. Gli offset e i segni predefiniti dei giunti nello script di inferenza applicano la conversione ufficiale, ma solo se la calibrazione è stata fatta esattamente con LeRobot 0.5.1, ed è per questo che quella versione è descritta come non negoziabile. Il repository dice anche di sostituire il file di calibrazione fornito con il proprio, perché quello incluso è specifico del braccio dell'autrice.
Onesto su ciò che non funziona
La sezione sui limiti noti è insolitamente franca. La webcam sul polso è fuori distribuzione: MolmoAct2 è stato addestrato su due viste RealSense in terza persona, non su una vista dal polso, quindi c'è un flag --scene-only che passa due volte la vista laterale e salta l'immagine del polso quando il comportamento peggiora. Il ragionamento sulla profondità è disattivato, quindi il modello vede solo RGB. Un solo braccio, nessun leader né ripiego in teleoperazione. Serve una GPU per l'inferenza in bfloat16; la CPU non è stata testata.
Cosa aspettarsi
Circa 15 GB di pesi alla prima esecuzione, fino a 30 secondi di riscaldamento della fotocamera e circa 700 ms per il primo blocco di inferenza su una GPU da portatile. C'è una modalità --dry-run che stampa le posizioni target dei giunti senza muovere il braccio: il modo sensato per verificare che il modello si carichi prima di lasciarlo avvicinare al tavolo.
Dettagli
- arm: SO-101 follower
- model: MolmoAct2-SO100_101 (Allen Institute for AI)
- cameras: RealSense D455 side view (RGB only) + USB wrist webcam
- compute: CUDA GPU, bfloat16; RTX 3080 or better suggested
- control: Joint-target chunks with temporal ensembling at 30 Hz
- licence: MIT
- training: None — zero-shot from a natural-language prompt
- framework: LeRobot 0.5.1 (pin is load-bearing)
- difficulty: Advanced
Foto e video
- irenegracekp/molmoact2-so101: The inference script, model runtime, wrist-camera handling and setup code, with a README covering hardware, pins, calibration and limitations.
- MolmoAct2 zero-shot on SO-101: The builder's clip of the arm running zero-shot, with her own note that pick precision should improve with a depth-trained model and a better wrist camera.
- MolmoAct2-SO100_101 weights: The AI2 model this build runs, downloaded automatically on first inference.
Link
- Costruttore: https://github.com/irenegracekp