Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

Autoren: Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik · CoRL 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Fabrica plant aus Teile-Meshes Reihenfolge, Griffe, Vorrichtungen und Bewegungen für die zweiarmige Montage und nutzt dann RL-Einfügepolicies, die sich zero-shot übertragen lassen, mit 80 % erfolgreichen realen Schritten.

Warum es wichtig ist

Es ist ein durchgängiger Weg von einer CAD-Baugruppe zur Roboterausführung ohne menschliche Demonstrationen oder domänenspezifisches Engineering, und der Planer wurde in der Simulation auf mehreren zweiarmigen Aufbauten demonstriert. Die Planung dauert Minuten, und eine generalistische Einfügepolicy kann eine Baugruppe bewältigen, auf der sie nicht trainiert wurde; damit zielt das System auf die langsame, manuelle Umprogrammierung, die heutige Montagezellen für jedes neue Produkt benötigen.

Problem

Montageroboter werden heute von Hand mit eigens gebauter Infrastruktur und steifen Reglern programmiert, sodass sie sich nur langsam an neue Produkte anpassen und empfindlich auf Unsicherheit reagieren. Die Forschung hat meist das einarmige Einfügen zweier Teile von oben nach unten behandelt, während die Montage mehrteiliger Objekte verschiedene Einfügerichtungen und Griffe sowie einen zweiten Arm erfordert, der Teile gegen die Einfügekräfte hält. Das koppelt ein großes diskret-kontinuierliches Planungsproblem mit kontaktreicher Regelung, die über Teilegeometrien hinweg generalisieren muss.

Lösungsansatz

Ein hierarchischer Planer nimmt Teile-Meshes und die Arbeitszelle entgegen, ermittelt Vorrangebenen mit einem physikbasierten Demontageplaner, filtert zweiarmige Griffpaare mit paralleler IK und Kollisionsprüfungen vor und wählt per dynamischer Programmierung über einen Montage-/Halte-Zustandsbaum eine stabilitätsoptimierte Reihenfolge und Griffe. Anschließend erzeugt er eine Aufnahmevorrichtung mit geformten Aussparungen und plant Transferbewegungen mit RRT-Connect. Für jedes Einfügen arbeitet eine in Isaac Gym trainierte PPO-Policy in einem pfadzentrierten Koordinatensystem, das jedes geradlinige Einfügen auf eines von oben nach unten abbildet, und gibt über einen Impedanzregler im Aufgabenraum Residualkorrekturen der geplanten Bewegung aus.

Wichtigste Erkenntnisse

Reihenfolge und Griffe auf Stabilität statt bloß auf Machbarkeit zu optimieren, hilft der nachgelagerten Regelung: Ohne Griffoptimierung sank der Gesamterfolg realer Schritte von 80 % auf 64 %, und eine schlechte Reihenfolge verursachte Instabilität und Verrutschen von Teilen.
Eine pfadzentrierte, SE(3)-äquivariante Transformation lässt eine einzige Policy nur das Einfügen von oben nach unten lernen und die Orientierung aus ihren Beobachtungen und Aktionen weglassen; ohne sie fiel der Erfolg realer Schritte auf 61 %.
Residualaktionen auf dem geplanten Pfad und eine einfache negative Distanzbelohnung genügen, weil der Planer jedes Einfügen nahe am Ziel beginnen lässt.
Training mit 3 mm Posenrauschen und Einsatz mit einem Policy-Level Action Integrator, der Aktionen auf den letzten Sollzustand anwendet, erleichtern den Sim-to-Real-Transfer.
Auf den anderen sechs Baugruppen trainierte generalistische Policies schnitten auf einer ungesehenen Baugruppe so gut ab wie darauf trainierte Spezialisten.

Hauptergebnisse

In der realen Welt gelangen 80 % der Montageschritte ohne Eingriff, sowohl mit baugruppenspezifischen Spezialisten- als auch mit Out-of-Distribution-Generalisten-Policies, gegenüber 55 % für angepasstes ASAP und 23 % für Open-Loop-Tracking.
Vollständige mehrstufige reale Montagen gelangen mit einem Eingriff in 81 % der Fälle und mit zwei in 95 % (Spezialist) bzw. 100 % (Generalist); ohne Eingriff lagen alle Methoden nahe null.
Die Planung einer vollständigen Baugruppe dauerte mit parallelisierten Stufen 173 s (Beam) bis 593 s (Duct).
In der Simulation (1.024 Versuche pro Baugruppe) erreichten RL-Policies 58,6–100 % erfolgreiche Schritte, gegenüber 0–24,2 % für Open-Loop-Tracking.
Der Planer wurde an Franka Emika Panda-, UFactory xArm7- und UR5e-Armen mit unterschiedlichen Greifern demonstriert.
Benchmark aus sieben Baugruppen mit 5 bis 9 Teilen: Träger (Beam), Stehlager, Auto, Gamepad, Kühlverteiler, Kanal und Hocker.

Einschränkungen

Setzt reines Fügen durch Einstecken voraus (kein Schrauben oder Schieben), keine Umorientierung der Unterbaugruppe, jedes Teil wird nur einmal bewegt, und die Teile sind im Verhältnis zur Roboternutzlast leicht (Autoren).
Der Benchmark ist klein, weil Parallelgreifer eine begrenzte Greifweite haben; große oder komplexe Teile würden mehrfingrige Hände oder Werkzeugwechsel erfordern (Autoren).
Empfindlich gegenüber der Kalibrierung der beiden Arme und dem Verschleiß der Aufnahmevorrichtung; Verschiebungen unter einem Millimeter können Fehlschläge verursachen (Autoren).
Keine Wahrnehmung: Die Teile starten in einer eigens angefertigten Aufnahmevorrichtung, statt aus einer Kiste gegriffen zu werden (Autoren).
Es bleibt eine deutliche Sim-to-Real-Lücke: Kleine Teile rutschen zwischen den Greiferbacken durch, Fehler summieren sich bei großen Baugruppen, und der haltende Greifer wird im RL-Training nicht modelliert (Autoren).

Wirkung auf das Fachgebiet

Ausgezeichnet mit dem CoRL 2025 Best Paper Award, bisher 29 Zitierungen. Das Paper führt eine Benchmark-Suite aus sieben Baugruppen für die Montage mehrteiliger Objekte ein und verlinkt eine Projektwebsite (fabrica.csail.mit.edu); die lizenzierte PMLR-Fassung nennt kein Code-Repository.

Zusammenfassung

Die Montage mehrteiliger Objekte stellt Roboter vor erhebliche Herausforderungen, da sie kontaktreiche Manipulation über lange Horizonte mit Generalisierung über komplexe Geometrien hinweg ausführen müssen. Wir stellen Fabrica vor, ein zweiarmiges Robotersystem, das zu durchgängiger Planung und Regelung für die autonome Montage allgemeiner mehrteiliger Objekte fähig ist. Für die Planung über lange Horizonte entwickeln wir Hierarchien aus Vorrang-, Sequenz-, Griff- und Bewegungsplanung mit automatischer Vorrichtungserzeugung, die allgemeine mehrstufige Montage auf beliebigen zweiarmigen Robotern ermöglichen. Der Planer wird durch ein parallelisierbares Design effizient gemacht und ist für die Stabilität der nachgelagerten Regelung optimiert. Für kontaktreiche Montageschritte schlagen wir ein leichtgewichtiges Reinforcement-Learning-Framework vor, das generalistische Policies über Objektgeometrien, Montagerichtungen und Greifposen hinweg trainiert, geleitet durch Äquivarianz und aus dem Plan gewonnene Residualaktionen. Diese Policies lassen sich zero-shot in die reale Welt übertragen und erreichen 80 % erfolgreiche Schritte. Für eine systematische Evaluierung schlagen wir eine Benchmark-Suite mehrteiliger Baugruppen vor, die industriellen und alltäglichen Objekten verschiedener Kategorien und Geometrien ähneln. Durch die Integration effizienter globaler Planung und robuster lokaler Regelung präsentieren wir das erste System, das eine vollständige und generalisierbare reale Montage mehrteiliger Objekte ohne Domänenwissen oder menschliche Demonstrationen erreicht. Projektwebsite: http://fabrica.csail.mit.edu/

Open Source Robotics