Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

Autori: Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik · CoRL 2025

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Fabrica pianifica sequenza, prese, attrezzature di fissaggio e movimenti per l'assemblaggio a due bracci a partire dalle mesh dei pezzi, poi usa policy di inserimento addestrate con RL che si trasferiscono zero-shot, raggiungendo l'80 % di passaggi reali riusciti.

Perché è importante

È un percorso end-to-end da un assieme CAD all'esecuzione da parte del robot senza dimostrazioni umane né ingegnerizzazione specifica del dominio, e il pianificatore è stato dimostrato in simulazione su diverse configurazioni a due bracci. La pianificazione richiede pochi minuti e una policy di inserimento generalista può gestire un assemblaggio su cui non è stata addestrata, il che affronta la riprogrammazione lenta e manuale di cui le celle di assemblaggio odierne hanno bisogno per ogni nuovo prodotto.

Problema

Oggi i robot di assemblaggio sono programmati a mano con infrastrutture dedicate e controller rigidi, quindi si adattano lentamente ai nuovi prodotti e sono sensibili all'incertezza. La ricerca ha trattato soprattutto l'inserimento dall'alto di due pezzi con un solo braccio, mentre l'assemblaggio a più pezzi richiede direzioni di inserimento e prese diverse e un secondo braccio che tenga i pezzi contro le forze di inserimento. Ciò accoppia un ampio problema di pianificazione discreto-continuo con un controllo ricco di contatti che deve generalizzare tra le geometrie dei pezzi.

Soluzione proposta

Un pianificatore gerarchico prende le mesh dei pezzi e la cella di lavoro, individua i livelli di precedenza con un pianificatore di disassemblaggio basato sulla fisica, prefiltra le coppie di prese a due bracci con IK in parallelo e controlli di collisione, e usa la programmazione dinamica su un albero di stati assembla/tieni per scegliere una sequenza e prese ottimizzate per la stabilità. Genera poi un'attrezzatura di prelievo con cavità sagomate e pianifica i movimenti di transito con RRT-Connect. Per ogni inserimento, una policy PPO addestrata in Isaac Gym lavora in un sistema di riferimento centrato sul percorso che riconduce ogni inserimento rettilineo a uno dall'alto verso il basso e produce correzioni residue al movimento pianificato tramite un controllore di impedenza nello spazio operativo.

Idee chiave

Ottimizzare sequenza e prese per la stabilità, e non solo per la fattibilità, aiuta il controllo a valle: togliere l'ottimizzazione delle prese ha ridotto il successo complessivo dei passaggi reali dall'80 % al 64 %, e una cattiva scelta della sequenza ha causato instabilità e deriva dei pezzi.
Una trasformazione centrata sul percorso ed equivariante in SE(3) permette a una policy di imparare solo l'inserimento dall'alto verso il basso ed eliminare l'orientamento da osservazioni e azioni; senza di essa il successo dei passaggi reali è sceso al 61 %.
Azioni residue sopra il percorso pianificato e una semplice ricompensa pari alla distanza negativa sono sufficienti, perché il pianificatore avvia ogni inserimento vicino all'obiettivo.
Addestrare con rumore di posa di 3 mm e distribuire con un Policy-Level Action Integrator, che applica le azioni all'ultimo stato desiderato, facilita il trasferimento sim-to-real.
Le policy generaliste addestrate sugli altri sei assemblaggi hanno ottenuto su un assemblaggio mai visto risultati pari a quelli delle specialiste addestrate su di esso.

Risultati principali

Nel mondo reale l'80 % dei passaggi di assemblaggio è riuscito senza intervento sia con policy specialiste per assemblaggio sia con policy generaliste fuori distribuzione, contro il 55 % di ASAP adattato e il 23 % dell'inseguimento ad anello aperto.
Gli assemblaggi reali completi in più passaggi sono riusciti nell'81 % dei casi con un intervento e nel 95 % (specialista) o nel 100 % (generalista) con due; senza intervento tutti i metodi erano vicini a zero.
Pianificare un assemblaggio completo ha richiesto da 173 s (Beam) a 593 s (Duct) con fasi parallelizzate.
In simulazione (1.024 prove per assemblaggio), le policy RL hanno raggiunto il 58,6-100 % di passaggi riusciti, contro lo 0-24,2 % dell'inseguimento ad anello aperto.
Il pianificatore è stato dimostrato su bracci Franka Emika Panda, UFactory xArm7 e UR5e con pinze diverse.
Benchmark di sette assemblaggi con da 5 a 9 pezzi: trave, supporto per tubazioni, automobile, gamepad, collettore di raffreddamento, condotto e sgabello.

Limiti

Presuppone accoppiamenti solo per inserimento (niente avvitamento né scorrimento), nessun riorientamento del sottoassieme, ogni pezzo spostato una sola volta e pezzi leggeri rispetto al carico utile del robot (autori).
Il benchmark è piccolo perché le pinze parallele hanno un'apertura di presa limitata; pezzi grandi o complessi richiederebbero mani a più dita o il cambio utensile (autori).
Sensibile alla calibrazione dei due bracci e all'usura dell'attrezzatura di prelievo; spostamenti inferiori al millimetro possono causare fallimenti (autori).
Nessuna percezione: i pezzi partono da un'attrezzatura di prelievo su misura invece di essere prelevati da un contenitore (autori).
Resta un evidente divario sim-to-real: i pezzi piccoli scivolano tra i cuscinetti della pinza, gli errori si accumulano negli assemblaggi grandi e la pinza di tenuta non è modellata nell'addestramento RL (autori).

Impatto sul settore

Vincitore del CoRL 2025 Best Paper Award, con 29 citazioni finora. L'articolo introduce una suite di benchmark di sette assemblaggi per l'assemblaggio a più pezzi e rimanda a un sito web del progetto (fabrica.csail.mit.edu); la copia con licenza su PMLR non indica un repository di codice.

Abstract

L'assemblaggio di più pezzi pone sfide significative ai robot, che devono eseguire una manipolazione a lungo orizzonte e ricca di contatti, generalizzando su geometrie complesse. Presentiamo Fabrica, un sistema robotico a due bracci capace di pianificazione e controllo end-to-end per l'assemblaggio autonomo di oggetti generici composti da più pezzi. Per la pianificazione su lunghi orizzonti, sviluppiamo gerarchie di pianificazione delle precedenze, della sequenza, della presa e del movimento con generazione automatica delle attrezzature di fissaggio, consentendo un assemblaggio generico in più passaggi su qualsiasi robot a due bracci. Il pianificatore è reso efficiente da una progettazione parallelizzabile ed è ottimizzato per la stabilità del controllo a valle. Per i passaggi di assemblaggio ricchi di contatti, proponiamo un framework leggero di apprendimento per rinforzo che addestra policy generaliste su diverse geometrie degli oggetti, direzioni di assemblaggio e pose di presa, guidato dall'equivarianza e da azioni residue ricavate dal piano. Queste policy si trasferiscono zero-shot al mondo reale e raggiungono l'80 % di passaggi riusciti. Per una valutazione sistematica, proponiamo una suite di benchmark di assemblaggi a più pezzi che riproducono oggetti industriali e di uso quotidiano di diverse categorie e geometrie. Integrando una pianificazione globale efficiente e un controllo locale robusto, presentiamo il primo sistema in grado di realizzare nel mondo reale un assemblaggio a più pezzi completo e generalizzabile senza conoscenze di dominio né dimostrazioni umane. Sito web del progetto: http://fabrica.csail.mit.edu/

Link

arXiv 2506.05168: https://arxiv.org/abs/2506.05168
DOI 10.48550/arXiv.2506.05168: https://doi.org/10.48550/arXiv.2506.05168
PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/tian25a/tian25a.pdf
Pagina del progetto: http://fabrica.csail.mit.edu/