Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

MolmoAct2

La famiglia di modelli vision-language-action di Ai2 con licenza aperta

Licenza

Apache 2.0

Apache-2.0, ma prima di farvi affidamento verificare dove è dichiarato. Verificato il 2026-09-17: il repository contiene un file LICENSE Apache-2.0 completo e la sezione 7 del README dice 'This model is licensed under Apache 2.0', aggiungendo che è destinato a uso di ricerca e didattico in conformità con le Responsible Use Guidelines di Ai2: una dichiarazione di intenti accanto alla licenza, non una sua clausola. Le schede del modello su Hugging Face per MolmoAct2, MolmoAct2-Think, MolmoAct2-Pretrain, MolmoAct2-DROID, MolmoAct2-LIBERO e MolmoAct2-SO100_101 non hanno alcun campo licenza; solo la scheda del backbone Molmo2-ER dichiara apache-2.0. Quindi la concessione per i pesi si basa sul README del repository e non sulle pagine degli artefatti stessi.

Panoramica

MolmoAct2 è il modello vision-language-action aperto dell'Allen Institute for AI, rilasciato con licenza Apache-2.0 con pesi, codice di addestramento e istruzioni per la messa in funzione. È basato su Molmo2-ER, un backbone VLM di ragionamento incarnato, sopra il quale è collegato un action expert continuo a flow matching. Ai2 pubblica checkpoint di ogni fase di addestramento invece di un unico artefatto pronto all'uso: un backbone autoregressivo discreto preaddestrato per proseguire l'addestramento, il checkpoint di base post-addestrato per il fine-tuning su un nuovo robot e una variante Think che ragiona su previsioni di profondità compatte prima di agire. Sono forniti checkpoint con fine-tuning per Franka tramite DROID, YAM bimanuale, SO-100/SO-101 e LIBERO.

Ciò che ne fa una voce di catalogo anziché una scheda del modello è che la release è strutturata per chi intende modificarla. I checkpoint di base sono etichettati in base a ciò che se ne farebbe dopo (MolmoAct2-Pretrain per proseguire le fasi di addestramento, MolmoAct2 per l'adattamento a un embodiment di destinazione, Molmo2-ER come punto di partenza VLM) e Ai2 dice chiaramente che si tratta di checkpoint di base e non di policy di impiego valide per tutto. Un'impostazione più rara di quanto dovrebbe essere.

I checkpoint con fine-tuning sono il punto d'incontro con i lettori di questo catalogo. MolmoAct2-SO100_101 è addestrato su dataset SO-100 e SO-101 con controllo assoluto della posa dei giunti e istruzioni in linguaggio annotate, il che significa che il braccio più economico posseduto dalla maggior parte delle persone qui ha un VLA con licenza aperta e pesi pubblicati pensato per esso. MolmoAct2-DROID copre Franka, MolmoAct2-BimanualYAM copre la configurazione YAM bimanuale e due varianti LIBERO coprono il benchmark simulato. Sono pubblicate istruzioni per la messa in funzione reale su Franka, SO-100/101 e YAM bimanuale. L'inferenza è stata inoltre convalidata su Intel XPU senza modifiche al codice, una cortesia piccola ma insolita in un settore che dà per scontato CUDA.

Perché è importante

Il campo dei VLA a pesi aperti è più scarno di quanto sembri: molti modelli vengono descritti, meno vengono rilasciati con una licenza che consente l'uso commerciale, e ancora meno forniscono checkpoint pensati per hardware che una persona può permettersi. Pesi Apache-2.0 da Ai2, tra cui una variante SO-100/101, sono quanto di più utilizzabile si possa trovare. Ai2 ha inoltre una storia di rilascio dell'intera pipeline e non solo del risultato finale, e i checkpoint per fasi seguono questo schema.

Il problema che risolve

La maggior parte delle persone che vogliono eseguire una policy vision-language-action sul proprio robot non può farlo: i modelli buoni sono chiusi, oppure i pesi sono rilasciati a condizioni che vietano l'uso previsto, oppure non c'è nulla con fine-tuning per l'hardware che possiedono. MolmoAct2 risponde a tutti e tre i problemi insieme per Franka, YAM e SO-100/101.

Punti chiave

  • Apache-2.0 secondo il LICENSE e il README del repository, da Ai2; ma le schede del modello su Hugging Face non hanno alcun campo licenza, quindi la concessione per i pesi si trova nel repository e non accanto al download
  • Checkpoint pubblicati per ogni fase di addestramento, descritti esplicitamente come checkpoint di base e non come policy di impiego
  • Un action expert continuo a flow matching si trova sopra Molmo2-ER, un backbone VLM di ragionamento incarnato
  • La variante Think ragiona su previsioni di profondità compatte prima di agire e ha un proprio fine-tuning su LIBERO
  • Checkpoint con fine-tuning per Franka tramite DROID, YAM bimanuale, SO-100/SO-101 e LIBERO, tutti con controllo assoluto della posa dei giunti
  • Istruzioni per la messa in funzione reale pubblicate per Franka, SO-100/101 e YAM bimanuale
  • Inferenza convalidata su Intel XPU senza modifiche al codice del repository

A chi si rivolge

  • Proprietari di SO-100 e SO-101 che vogliono un VLA con licenza aperta e pesi pubblicati per il proprio braccio
  • Gruppi di ricerca che eseguono il fine-tuning di un VLA su un nuovo embodiment e necessitano di un punto di partenza permissivo
  • Chiunque faccia benchmark su LIBERO e voglia un modello di riferimento aperto
  • Team che necessitano di condizioni di licenza permissive, con l'avvertenza che la concessione è dichiarata nel repository e non nelle schede del modello

Limiti

  • Ai2 dichiara chiaramente che le prestazioni dipendono da hardware, telecamere, calibrazione, convenzioni delle azioni e distribuzione del linguaggio e dei compiti: i checkpoint con fine-tuning sono punti di partenza, non soluzioni pronte all'uso
  • I fine-tuning coprono solo tre embodiment reali (Franka, YAM bimanuale, SO-100/101); per qualsiasi altro occorre eseguire da sé il fine-tuning dal checkpoint di base
  • Il fine-tuning di un VLA di queste dimensioni non è un lavoro da portatile, quindi l'ostacolo pratico è la potenza di calcolo e non la licenza
  • Il repository include una copia di LeRobot in experiments/, quindi parte di ciò che si trova nell'albero non è codice proprio di Ai2 e ha una propria provenienza upstream
  • La convenzione delle azioni è sempre il controllo assoluto della posa dei giunti, che deve corrispondere alla propria configurazione
  • La convalida su Intel XPU è riportata dagli autori e non confermata in modo indipendente

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.