Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

MolmoAct2

Ai2s offen lizenzierte Familie von Vision-Language-Action-Modellen

Lizenz

Apache 2.0

Apache-2.0, aber vor dem Verlassen darauf prüfen, wo das angegeben ist. Geprüft am 2026-09-17: Das Repository enthält eine vollständige Apache-2.0-LICENSE-Datei, und Abschnitt 7 der README sagt 'This model is licensed under Apache 2.0' und ergänzt, dass es für Forschung und Lehre gemäß den Responsible Use Guidelines von Ai2 gedacht ist – eine Absichtserklärung neben der Lizenz, keine Bedingung der Lizenz. Die Hugging-Face-Modellkarten für MolmoAct2, MolmoAct2-Think, MolmoAct2-Pretrain, MolmoAct2-DROID, MolmoAct2-LIBERO und MolmoAct2-SO100_101 haben überhaupt kein Lizenzfeld; nur die Karte des Backbones Molmo2-ER gibt apache-2.0 an. Die Lizenzgewährung für die Gewichte beruht also auf der README des Repositorys und nicht auf den Seiten der Artefakte selbst.

Überblick

MolmoAct2 ist das offene Vision-Language-Action-Modell des Allen Institute for AI, veröffentlicht unter Apache-2.0 mit Gewichten, Trainingscode und Deployment-Anleitungen. Es baut auf Molmo2-ER auf, einem VLM-Backbone für verkörpertes Schlussfolgern, auf das ein kontinuierlicher Flow-Matching-Aktionsexperte aufgesetzt wird. Ai2 veröffentlicht Checkpoints aus jeder Trainingsstufe statt eines einzelnen einsatzfertigen Artefakts: ein vortrainiertes, diskret autoregressives Backbone zum Weitertrainieren, den nachtrainierten Foundation-Checkpoint zum Feinabstimmen auf einen neuen Roboter, und eine Think-Variante, die vor dem Handeln über kompakte Tiefenvorhersagen nachdenkt. Feinabgestimmte Checkpoints gibt es für Franka über DROID, bimanuelle YAM, SO-100/SO-101 und LIBERO.

Was daraus einen Katalogeintrag statt einer Modellkarte macht, ist, dass die Veröffentlichung für Leute gebaut ist, die daran etwas ändern wollen. Die Basis-Checkpoints sind danach benannt, was man als Nächstes mit ihnen täte — MolmoAct2-Pretrain zum Fortsetzen der Trainingsstufen, MolmoAct2 zum Anpassen an eine Zielverkörperung, Molmo2-ER als VLM-Ausgangspunkt — und Ai2 sagt klar, dass dies Foundation-Checkpoints sind und keine Einheitslösungen zum Ausrollen. Diese Einordnung ist seltener, als sie sein sollte.

Die feinabgestimmten Checkpoints sind der Punkt, an dem es die Leserschaft dieses Katalogs trifft. MolmoAct2-SO100_101 ist auf SO-100- und SO-101-Datensätzen trainiert, mit absoluter Gelenkpositionsregelung und annotierten Sprachanweisungen — das heißt, für den günstigsten Arm, den die meisten hier besitzen, gibt es ein offen lizenziertes VLA mit veröffentlichten Gewichten. MolmoAct2-DROID deckt Franka ab, MolmoAct2-BimanualYAM das bimanuelle YAM-Setup, zwei LIBERO-Varianten den simulierten Benchmark. Für Franka, SO-100/101 und bimanuelle YAM sind Anleitungen für den realen Einsatz veröffentlicht. Die Inferenz wurde außerdem ohne Codeänderungen auf Intel XPU validiert — eine kleine, aber ungewöhnliche Höflichkeit in einem Feld, das CUDA voraussetzt.

Warum es wichtig ist

Das Feld der offenen VLA-Gewichte ist dünner, als es aussieht: viele Modelle werden beschrieben, weniger unter einer Lizenz veröffentlicht, die kommerzielle Nutzung erlaubt, und noch weniger liefern Checkpoints für Hardware, die man sich leisten kann. Apache-2.0-Gewichte von Ai2, darunter eine SO-100/101-Variante, ist ungefähr so brauchbar, wie es hier wird. Ai2 hat außerdem die Gewohnheit, die ganze Pipeline statt nur des Endpunkts zu veröffentlichen, und die gestuften Checkpoints folgen diesem Muster.

Welches Problem es löst

Die meisten, die eine Vision-Language-Action-Policy auf dem eigenen Roboter laufen lassen wollen, können es nicht: die guten Modelle sind geschlossen, oder die Gewichte erscheinen unter Bedingungen, die den beabsichtigten Zweck verbieten, oder nichts ist auf Hardware feinabgestimmt, die man besitzt. MolmoAct2 beantwortet alle drei Punkte auf einmal für Franka, YAM und SO-100/101.

Wichtigste Punkte

  • Apache-2.0 laut LICENSE und README des Repositorys, von Ai2 — die Hugging-Face-Modellkarten tragen jedoch kein Lizenzfeld, der Grant für die Gewichte steht also im Repo und nicht neben dem Download
  • Checkpoints aus jeder Trainingsstufe veröffentlicht, ausdrücklich als Foundation-Checkpoints und nicht als Deployment-Policies beschrieben
  • Ein kontinuierlicher Flow-Matching-Aktionsexperte sitzt auf Molmo2-ER, einem VLM-Backbone für verkörpertes Schlussfolgern
  • Die Think-Variante schließt vor dem Handeln über kompakte Tiefenvorhersagen und hat einen eigenen LIBERO-Feinabgleich
  • Feinabgestimmte Checkpoints für Franka über DROID, bimanuelle YAM, SO-100/SO-101 und LIBERO, alle mit absoluter Gelenkpositionsregelung
  • Anleitungen für den realen Einsatz auf Franka, SO-100/101 und bimanuellen YAM veröffentlicht
  • Inferenz auf Intel XPU validiert, ohne Codeänderungen am Repository

Für wen

  • SO-100- und SO-101-Besitzer, die ein offen lizenziertes VLA mit veröffentlichten Gewichten für ihren Arm wollen
  • Forschungsgruppen, die ein VLA auf eine neue Verkörperung feinabstimmen und einen permissiven Ausgangspunkt brauchen
  • Alle, die gegen LIBERO benchmarken und eine offene Baseline wollen
  • Teams, die permissive Lizenzbedingungen brauchen — mit dem Vorbehalt, dass der Grant im Repository steht und nicht auf den Modellkarten

Einschränkungen

  • Ai2 sagt ausdrücklich, dass die Leistung von Hardware, Kameras, Kalibrierung, Aktionskonventionen sowie Sprach- und Aufgabenverteilung abhängt — die feinabgestimmten Checkpoints sind Ausgangspunkte, keine fertigen Lösungen
  • Nur drei reale Verkörperungen sind durch Feinabgleiche abgedeckt (Franka, bimanuelle YAM, SO-100/101); alles andere heißt, selbst vom Foundation-Checkpoint aus feinabzustimmen
  • Ein VLA dieser Größe feinabzustimmen ist keine Laptop-Arbeit, die praktische Hürde ist also Rechenleistung und nicht die Lizenz
  • Das Repository führt unter experiments/ eine Kopie von LeRobot mit, ein Teil des Baums ist also nicht Ai2s eigener Code und trägt eigene Herkunft
  • Absolute Gelenkpositionsregelung ist durchgehend die Aktionskonvention, das muss zum eigenen Rig passen
  • Die Intel-XPU-Validierung ist von den Autoren berichtet und nicht unabhängig bestätigt

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.