Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

Auteurs: Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik · CoRL 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Fabrica planifie la séquence, les préhensions, les montages et les mouvements d'un assemblage bimanuel à partir des maillages des pièces, puis utilise des politiques d'insertion par RL qui se transfèrent en zero-shot, atteignant 80 % d'étapes réelles réussies.

Pourquoi c'est important

C'est une chaîne de bout en bout allant d'un assemblage CAD à l'exécution par le robot, sans démonstrations humaines ni ingénierie spécifique au domaine, et le planificateur a été démontré en simulation sur plusieurs configurations bimanuelles. La planification prend quelques minutes et une politique d'insertion généraliste peut traiter un assemblage sur lequel elle n'a pas été entraînée, ce qui vise la reprogrammation lente et manuelle dont les cellules d'assemblage actuelles ont besoin pour chaque nouveau produit.

Problème

Les robots d'assemblage sont aujourd'hui programmés à la main avec une infrastructure dédiée et des contrôleurs rigides ; ils s'adaptent donc lentement aux nouveaux produits et sont sensibles à l'incertitude. La recherche a surtout porté sur l'insertion verticale de deux pièces avec un seul bras, alors que l'assemblage multi-pièces exige des directions d'insertion et des préhensions variées ainsi qu'un second bras qui maintient les pièces contre les forces d'insertion. Cela couple un vaste problème de planification discret-continu à une commande riche en contacts qui doit généraliser à différentes géométries de pièces.

Solution proposée

Un planificateur hiérarchique prend les maillages des pièces et la cellule de travail, détermine les niveaux de précédence avec un planificateur de désassemblage fondé sur la physique, préfiltre les paires de préhensions bimanuelles par IK parallèle et tests de collision, et utilise la programmation dynamique sur un arbre d'états assembler/maintenir pour choisir une séquence et des préhensions optimisées pour la stabilité. Il génère ensuite un montage de prise avec des empreintes moulées et planifie les mouvements de transfert avec RRT-Connect. Pour chaque insertion, une politique PPO entraînée dans Isaac Gym opère dans un repère centré sur le chemin, qui ramène toute insertion rectiligne à une insertion verticale descendante, et produit des corrections résiduelles du mouvement planifié via un contrôleur d'impédance dans l'espace de la tâche.

Idées clés

• Optimiser la séquence et les préhensions pour la stabilité, et pas seulement pour la faisabilité, aide la commande en aval : sans optimisation des préhensions, le succès global des étapes réelles est passé de 80 % à 64 %, et un mauvais séquencement a provoqué instabilité et dérive des pièces.
• Une transformation centrée sur le chemin et SE(3)-équivariante permet à une seule politique de n'apprendre que l'insertion verticale descendante et de retirer l'orientation de ses observations et actions ; sans elle, le succès des étapes réelles est tombé à 61 %.
• Des actions résiduelles appliquées au chemin planifié et une simple récompense de distance négative suffisent, car le planificateur fait démarrer chaque insertion près du but.
• L'entraînement avec un bruit de pose de 3 mm et le déploiement avec un Policy-Level Action Integrator, qui applique les actions au dernier état désiré, facilitent le transfert sim-to-real.
• Des politiques généralistes entraînées sur les six autres assemblages ont fait aussi bien sur un assemblage inédit que des spécialistes entraînés dessus.

Principaux résultats

• Dans le monde réel, 80 % des étapes d'assemblage ont réussi sans intervention, tant pour les politiques spécialistes d'un assemblage que pour les politiques généralistes hors distribution, contre 55 % pour ASAP adapté et 23 % pour le suivi en boucle ouverte.
• Les assemblages réels multi-étapes complets ont réussi dans 81 % des cas avec une intervention et dans 95 % (spécialiste) ou 100 % (généraliste) avec deux ; sans intervention, toutes les méthodes étaient proches de zéro.
• La planification d'un assemblage complet a pris de 173 s (Beam) à 593 s (Duct) avec des étapes parallélisées.
• En simulation (1 024 essais par assemblage), les politiques RL ont atteint 58,6 à 100 % d'étapes réussies, contre 0 à 24,2 % pour le suivi en boucle ouverte.
• Le planificateur a été démontré sur des bras Franka Emika Panda, UFactory xArm7 et UR5e équipés de préhenseurs différents.
• Benchmark de sept assemblages de 5 à 9 pièces : poutre (beam), palier à semelle, voiture, manette de jeu, collecteur de refroidissement, conduit et tabouret.

Limites

• Suppose un assemblage uniquement par insertion (ni vissage ni glissement), aucune réorientation du sous-assemblage, chaque pièce déplacée une seule fois et des pièces légères par rapport à la charge utile du robot (auteurs).
• Le benchmark est restreint car les préhenseurs parallèles ont une ouverture limitée ; des pièces grandes ou complexes nécessiteraient des mains multi-doigts ou des changements d'outil (auteurs).
• Sensible à l'étalonnage des deux bras et à l'usure du montage de prise ; des décalages inférieurs au millimètre peuvent provoquer des échecs (auteurs).
• Pas de perception : les pièces partent d'un montage de prise sur mesure au lieu d'être saisies dans un bac (auteurs).
• Un net écart sim-to-real subsiste : les petites pièces glissent entre les mors du préhenseur, les erreurs s'accumulent sur les grands assemblages et le préhenseur de maintien n'est pas modélisé lors de l'entraînement RL (auteurs).

Impact sur le domaine

Lauréat du CoRL 2025 Best Paper Award, avec 29 citations à ce jour. L'article introduit une suite de benchmarks de sept assemblages pour l'assemblage multi-pièces et renvoie vers un site web du projet (fabrica.csail.mit.edu) ; la copie PMLR sous licence ne mentionne aucun dépôt de code.

Résumé

L'assemblage multi-pièces pose aux robots des défis importants, car ils doivent exécuter une manipulation à long horizon riche en contacts tout en généralisant à des géométries complexes. Nous présentons Fabrica, un système robotique bimanuel capable de planification et de commande de bout en bout pour l'assemblage autonome d'objets multi-pièces quelconques. Pour la planification sur de longs horizons, nous développons des hiérarchies de planification de précédence, de séquence, de préhension et de mouvement, avec génération automatique de montages de maintien, permettant un assemblage multi-étapes général sur n'importe quel robot bimanuel. Le planificateur est rendu efficace par une conception parallélisable et est optimisé pour la stabilité de la commande en aval. Pour les étapes d'assemblage riches en contacts, nous proposons un cadre léger d'apprentissage par renforcement qui entraîne des politiques généralistes couvrant les géométries d'objets, les directions d'assemblage et les poses de préhension, guidé par l'équivariance et par des actions résiduelles issues du plan. Ces politiques se transfèrent en zero-shot au monde réel et atteignent 80 % d'étapes réussies. Pour une évaluation systématique, nous proposons une suite de benchmarks d'assemblages multi-pièces ressemblant à des objets industriels et quotidiens de catégories et géométries variées. En intégrant une planification globale efficace et une commande locale robuste, nous présentons le premier système à réaliser un assemblage multi-pièces réel complet et généralisable sans connaissance du domaine ni démonstrations humaines. Site web du projet : http://fabrica.csail.mit.edu/

Liens

• arXiv 2506.05168: https://arxiv.org/abs/2506.05168
• DOI 10.48550/arXiv.2506.05168: https://doi.org/10.48550/arXiv.2506.05168
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/tian25a/tian25a.pdf
• Page du projet: http://fabrica.csail.mit.edu/