Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

MolmoBot

Políticas de manipulación de Ai2 entrenadas solo en simulación, zero-shot en Franka DROID

Licencia

  • code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
  • MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
  • MolmoBot-Data: ODC Attribution 1.0

Licencias separadas. Código: Apache-2.0, según LICENSE, el mismo texto en cada uno de los paquetes MolmoBot, MolmoBot-Pi0 y MolmoBot-SPOC. Checkpoints de MolmoBot, incluidos MolmoBot-DROID y las políticas del RB-Y1: Apache-2.0, según sus fichas de Hugging Face; están ajustados a partir de Molmo2-4B, también Apache-2.0, cuya ficha indica que se entrenó con conjuntos de datos de terceros limitados a la investigación académica y no comercial. MolmoBot-Pi0-DROID: la licencia Gemma, porque se basa en PaliGemma. Checkpoints de MolmoBot-SPOC: licencia indicada solo como other, y el archivo de licencia al que apuntan sus fichas no existe. MolmoBot-Data: ODC-BY 1.0; algunas escenas usan objetos de Objaverse con licencias no comerciales, y se incluye una lista de episodios aptos para uso comercial. Ai2 pide que los modelos y los datos se usen conforme a sus Responsible Use Guidelines. Comprobado el 2026-11-08 con LICENSE y las fichas de Hugging Face.

Resumen

MolmoBot es una familia de políticas de manipulación robótica del Allen Institute for AI (Ai2), entrenadas solo con datos simulados y ejecutadas en robots reales sin datos reales ni ajuste fino. Su checkpoint principal, MolmoBot-DROID, controla un brazo Franka en la configuración DROID a partir de una cámara de muñeca, una cámara externa y una instrucción de texto como put the red mug in the black bowl. Los datos de entrenamiento, MolmoBot-Data, son 1,7 millones de trayectorias expertas generadas en MuJoCo en más de 94.000 casas generadas por procedimientos, con una fuerte aleatorización de objetos, iluminación y posición de las cámaras. Ai2 publica tres tipos de política, nueve checkpoints para el Franka y el manipulador móvil Rainbow Robotics RB-Y1, el código de entrenamiento y evaluación, el conjunto de datos y el motor de generación de datos. El artículo se presenta en CoRL 2026.

MolmoBot es un conjunto de políticas de manipulación de Ai2, junto con la University of Washington, UCLA, la TU Darmstadt y Princeton, creado para poner a prueba una tesis: que una política entrenada solo en simulación puede funcionar en un robot real sin datos reales y sin ajuste fino, una forma estricta de transferencia sim-to-real. Su checkpoint principal, MolmoBot-DROID, controla un brazo Franka montado como en DROID, con una pinza Robotiq 2F-85, una cámara de muñeca ZED Mini y una cámara ZED 2 que puede colocarse en cualquier lugar alrededor de la mesa. A partir de una instrucción de texto como "put the red mug in the black bowl", devuelve posiciones articulares absolutas para el brazo y la pinza.

Los datos proceden de MolmoBot-Engine, un generador procedimental que ahora forma parte del repositorio MolmoSpaces. Coloca objetos de iTHOR y Objaverse en casas prediseñadas de MolmoSpaces, las renderiza en MuJoCo y hace que expertos programados elijan agarres, planifiquen cada fase del movimiento (planificación de movimiento) y vuelvan a empezar cuando un agarre se escapa. La iluminación, las texturas, la fricción, las masas, la postura inicial del robot y la posición de cada cámara se aleatorizan (aleatorización de dominio). El resultado, MolmoBot-Data, contiene 1,7 millones de trayectorias y 5.704 horas de experiencia robótica en más de 94.000 entornos, 11.000 objetos y 9.000 recipientes, para 8 tipos de tarea en dos robots: el Franka FR3 para pick-and-place sobre la mesa y el manipulador móvil Rainbow Robotics RB-Y1 para coger objetos y abrir cajones, armarios y puertas. Generarlo llevó unas 6.500 horas de GPU.

Con ellos se entrenan tres tipos de política mediante aprendizaje por imitación. MolmoBot se basa en el modelo de visión y lenguaje Molmo2-4B, con un cabezal de acción de tipo diffusion transformer que lee cada capa del modelo de lenguaje y predice por flow matching fragmentos de 16 pasos con posiciones articulares; puede recibir hasta 3 fotogramas recientes por cámara. MolmoBot-Pi0 copia la arquitectura de π0 mediante el código de openpi y parte de PaliGemma, para poder compararse directamente con los modelos de Physical Intelligence. MolmoBot-SPOC es una pequeña política transformador pensada para dispositivos edge y para un futuro aprendizaje por refuerzo en simulación. Hay nueve checkpoints en Hugging Face, para el Franka DROID y para abrir puertas y tareas múltiples en el RB-Y1.

En un robot DROID, la política se ejecuta como servidor en un PC con GPU, mientras el robot y la pinza funcionan con Polymetis; una guía de instalación cubre las cámaras, la configuración y el script cliente. Un notebook de demostración crea una escena simulada, carga un checkpoint y ejecuta un episodio sin hardware, y los comandos de entrenamiento que reproducen MolmoBot-DROID a partir de los datos públicos están en el repositorio.

En el artículo cada política se ejecutó 120 veces en robots DROID reales: 4 salas con 10 tareas de pick-and-place cada una y 3 intentos por tarea, en 3 robots de 2 instituciones. MolmoBot tuvo éxito en el 79,2 % de los intentos, frente al 39,2 % de π0.5-DROID, entrenado con demostraciones reales, y MolmoBot-Pi0 alcanzó el 46,7 % con la arquitectura de π0 y solo datos simulados. El trabajo móvil está menos maduro: con tres puertas reales de tirar, el RB-Y1 abrió la puerta en 2 de 9 intentos. Son resultados de los propios autores; la página del proyecto tiene grabaciones de los intentos reales con DROID.

Por qué importa

Las políticas VLA abiertas como π0.5 en openpi aprenden de más de 10.000 horas de demostraciones con robots reales, datos que no son públicos y que nadie de fuera puede volver a generar. MolmoBot los sustituye por datos simulados que cualquiera puede descargar o volver a generar con el motor publicado, y en las pruebas de los autores superó a π0.5 en el mismo hardware DROID sin ver ni una sola demostración real. Para un laboratorio con un Franka de tipo DROID, eso significa una política para probar sin recoger datos, y una receta completa, desde la generación de escenas hasta el entrenamiento, para añadir tareas o robots nuevos. Es el complemento de MolmoAct2, el VLA de Ai2 que razona sobre acciones: MolmoAct2 ofrece checkpoints fundacionales pensados para ajustarse a cada robot con demostraciones reales, como DROID, mientras que MolmoBot aprende solo de la simulación y está pensado para funcionar tal cual. La pega es su alcance: las tareas son pick-and-place de objetos rígidos y apertura, y cualquier robot que no sea un Franka DROID o un RB-Y1 necesita sus propios datos simulados y su propio entrenamiento.

Qué problema resuelve

Entrenar una política de manipulación suele requerir grandes cantidades de demostraciones con robots reales, que son lentas y caras de recoger y en su mayoría cerradas. MolmoBot muestra que los datos de simulación generados por procedimientos, aleatorizados con suficiente amplitud, pueden entrenar políticas que funcionan zero-shot en robots reales, y publica los datos, el generador y el código de entrenamiento para que otros reproduzcan o amplíen el resultado.

Puntos clave

  • Políticas de manipulación entrenadas solo con datos simulados, ejecutadas en robots reales sin ajuste fino con datos reales
  • MolmoBot-DROID funciona en un Franka DROID con una cámara de muñeca y una cámara externa colocada en cualquier lugar
  • Entrenado con MolmoBot-Data: 1,7 millones de trayectorias expertas simuladas en más de 94.000 casas
  • Tres tipos de política: un VLA basado en Molmo2, una réplica de π0 y un pequeño transformador para dispositivos edge
  • El código, la mayoría de los checkpoints y el motor de generación de datos son abiertos; el conjunto de datos es ODC-BY
  • 79,2 % de éxito en pick-and-place real frente al 39,2 % de π0.5-DROID, en las pruebas de los autores

Para quién es

  • Laboratorios con un Franka de tipo DROID que quieren una política de pick-and-place sin recoger datos
  • Investigadores de aprendizaje robótico que estudian la transferencia sim-to-real y los datos sintéticos de entrenamiento
  • Equipos que construyen canalizaciones de datos de simulación para nuevos robots o tareas
  • Propietarios de un Rainbow Robotics RB-Y1 que trabajan en manipulación móvil

Limitaciones

  • Los checkpoints publicados solo funcionan en un Franka de tipo DROID (pinza Robotiq 2F-85, cámara de muñeca ZED Mini y cámara externa ZED 2, Polymetis) o en un Rainbow Robotics RB-Y1; otros robots necesitan nuevos datos simulados y nuevo entrenamiento
  • Las tareas se limitan a coger objetos rígidos, pick-and-place y abrir objetos articulados; los autores señalan la inserción, los objetos deformables y los fluidos como fuera de alcance por ahora
  • La manipulación móvil está en sus inicios: el RB-Y1 abrió una puerta real de tirar en 2 de 9 intentos
  • MolmoBot-Pi0-DROID está bajo la licencia Gemma, y los tres checkpoints de MolmoBot-SPOC solo indican other sin archivo de licencia, así que no todos los checkpoints son Apache-2.0
  • MolmoBot-Data ocupa unos 10 TB e incluye objetos de Objaverse con licencias no comerciales; se incluye una lista de episodios aptos para uso comercial
  • El entrenamiento requiere clústeres multi-GPU: el README indica de 8 a 64 GPU H100 para MolmoBot-DROID y 32 para MolmoBot-Pi0-DROID, y el checkpoint de MolmoBot-DROID ocupa unos 20 GB
  • Todos los resultados son de los propios autores, en sus robots y sus propios benchmarks de simulación

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.