Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

Autores: Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik · CoRL 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Fabrica planifica la secuencia, los agarres, los utillajes y los movimientos para el ensamblaje bimanual a partir de las mallas de las piezas, y luego usa políticas de inserción por RL que se transfieren zero-shot, alcanzando un 80 % de pasos reales exitosos.

Por qué importa

Es una ruta de extremo a extremo desde un ensamblaje CAD hasta la ejecución por el robot sin demostraciones humanas ni ingeniería específica del dominio, y el planificador se demostró en simulación en varias configuraciones bimanuales. La planificación tarda minutos y una política de inserción generalista puede manejar un ensamblaje con el que no fue entrenada, lo que apunta a la reprogramación lenta y manual que las celdas de ensamblaje actuales necesitan para cada nuevo producto.

Problema

Hoy los robots de ensamblaje se programan a mano con infraestructura hecha a medida y controladores rígidos, por lo que se adaptan lentamente a nuevos productos y son sensibles a la incertidumbre. La investigación ha cubierto sobre todo la inserción vertical de dos piezas con un solo brazo, mientras que el ensamblaje de múltiples piezas necesita direcciones de inserción y agarres variados y un segundo brazo que sujete las piezas contra las fuerzas de inserción. Esto acopla un gran problema de planificación discreto-continuo con un control rico en contactos que debe generalizar entre geometrías de piezas.

Solución propuesta

Un planificador jerárquico toma las mallas de las piezas y la celda de trabajo, encuentra niveles de precedencia con un planificador de desensamblaje basado en física, prefiltra pares de agarres bimanuales con IK en paralelo y comprobaciones de colisión, y usa programación dinámica sobre un árbol de estados ensamblar/sujetar para elegir una secuencia y unos agarres optimizados para la estabilidad. Después genera un utillaje de recogida con cavidades moldeadas y planifica los movimientos de tránsito con RRT-Connect. Para cada inserción, una política PPO entrenada en Isaac Gym trabaja en un marco centrado en la trayectoria que convierte cada inserción recta en una vertical de arriba abajo y produce correcciones residuales sobre el movimiento planificado mediante un controlador de impedancia en el espacio de la tarea.

Ideas clave

• Optimizar la secuencia y los agarres para la estabilidad, y no solo para la viabilidad, ayuda al control posterior: eliminar la optimización de agarres redujo el éxito global de pasos reales del 80 % al 64 %, y una mala secuenciación causó inestabilidad y deriva de las piezas.
• Una transformación centrada en la trayectoria y equivariante en SE(3) permite que una política aprenda solo la inserción vertical de arriba abajo y elimine la orientación de sus observaciones y acciones; sin ella, el éxito de pasos reales cayó al 61 %.
• Las acciones residuales sobre la trayectoria planificada y una simple recompensa de distancia negativa son suficientes, porque el planificador inicia cada inserción cerca del objetivo.
• Entrenar con ruido de pose de 3 mm y desplegar con un Policy-Level Action Integrator, que aplica las acciones al último estado deseado, facilita la transferencia sim-to-real.
• Las políticas generalistas entrenadas en los otros seis ensamblajes funcionaron tan bien en un ensamblaje no visto como las especialistas entrenadas en él.

Resultados principales

• En el mundo real, el 80 % de los pasos de ensamblaje tuvo éxito sin intervención tanto con políticas especialistas por ensamblaje como con políticas generalistas fuera de distribución, frente al 55 % de ASAP adaptado y el 23 % del seguimiento en lazo abierto.
• Los ensamblajes reales completos de múltiples pasos tuvieron éxito el 81 % de las veces con una intervención y el 95 % (especialista) o el 100 % (generalista) con dos; sin intervención, todos los métodos estuvieron cerca de cero.
• Planificar un ensamblaje completo llevó de 173 s (Beam) a 593 s (Duct) con etapas paralelizadas.
• En simulación (1024 ensayos por ensamblaje), las políticas de RL alcanzaron un 58,6-100 % de pasos exitosos, frente a un 0-24,2 % del seguimiento en lazo abierto.
• El planificador se demostró en brazos Franka Emika Panda, UFactory xArm7 y UR5e con distintas pinzas.
• Benchmark de siete ensamblajes con 5 a 9 piezas: viga, soporte de tubería, coche, mando de videojuegos, colector de refrigeración, conducto y taburete.

Limitaciones

• Supone un acoplamiento solo por inserción (sin atornillado ni deslizamiento), sin reorientación del subensamblaje, cada pieza movida una sola vez y piezas ligeras en relación con la carga útil del robot (autores).
• El benchmark es pequeño porque las pinzas paralelas tienen una apertura de agarre limitada; las piezas grandes o complejas necesitarían manos multidedo o cambio de herramienta (autores).
• Sensible a la calibración de los dos brazos y al desgaste del utillaje de recogida; desplazamientos submilimétricos pueden causar fallos (autores).
• Sin percepción: las piezas parten de un utillaje de recogida a medida en lugar de recogerse de un contenedor (autores).
• Persiste una clara brecha sim-to-real: las piezas pequeñas se deslizan entre las almohadillas de la pinza, los errores se acumulan en los ensamblajes grandes y la pinza de sujeción no se modela en el entrenamiento por RL (autores).

Impacto en el campo

Ganador del CoRL 2025 Best Paper Award, con 29 citas hasta ahora. El artículo presenta un conjunto de benchmarks de siete ensamblajes para el ensamblaje de múltiples piezas y enlaza un sitio web del proyecto (fabrica.csail.mit.edu); la copia con licencia de PMLR no menciona ningún repositorio de código.

Resumen

El ensamblaje de múltiples piezas plantea retos importantes para que los robots ejecuten manipulación de horizonte largo y rica en contactos, con generalización a geometrías complejas. Presentamos Fabrica, un sistema robótico bimanual capaz de planificación y control de extremo a extremo para el ensamblaje autónomo de objetos generales de múltiples piezas. Para planificar en horizontes largos, desarrollamos jerarquías de planificación de precedencia, de secuencia, de agarre y de movimiento con generación automatizada de utillajes, lo que permite un ensamblaje general de múltiples pasos en cualquier robot bimanual. El planificador se hace eficiente mediante un diseño paralelizable y se optimiza para la estabilidad del control posterior. Para los pasos de ensamblaje ricos en contactos, proponemos un marco ligero de aprendizaje por refuerzo que entrena políticas generalistas para distintas geometrías de objetos, direcciones de ensamblaje y poses de agarre, guiado por la equivariancia y por acciones residuales obtenidas del plan. Estas políticas se transfieren zero-shot al mundo real y logran un 80 % de pasos exitosos. Para una evaluación sistemática, proponemos un conjunto de benchmarks de ensamblajes de múltiples piezas que se asemejan a objetos industriales y cotidianos de diversas categorías y geometrías. Al integrar una planificación global eficiente y un control local robusto, presentamos el primer sistema que logra un ensamblaje de múltiples piezas completo y generalizable en el mundo real sin conocimiento del dominio ni demostraciones humanas. Sitio web del proyecto: http://fabrica.csail.mit.edu/

Enlaces

• arXiv 2506.05168: https://arxiv.org/abs/2506.05168
• DOI 10.48550/arXiv.2506.05168: https://doi.org/10.48550/arXiv.2506.05168
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/tian25a/tian25a.pdf
• Página del proyecto: http://fabrica.csail.mit.edu/