Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

作者: Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik · CoRL 2025

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

Fabrica 依據零件網格為雙臂組裝規劃順序、抓取、治具與運動，再使用能以零樣本方式轉移的 RL 插入策略，實際組裝步驟成功率達 80%。

為何重要

它提供一條從 CAD 組裝件到機器人執行的端到端途徑，不需要人類示範或特定領域的工程，而且規劃器已在模擬中於多種雙臂配置上展示過。規劃只需數分鐘，通用插入策略也能處理未曾訓練過的組裝件，這正針對了現今組裝單元每遇到新產品就必須進行的緩慢人工重新編程。

問題

現今的組裝機器人是以專門建置的基礎設施與高剛性控制器進行人工編程，因此對新產品的適應很慢，也容易受不確定性影響。過去的研究大多只處理單臂、兩個零件、由上而下的插入，而多零件組裝需要多樣的插入方向與抓取方式，還需要第二支手臂扶住零件以抵抗插入力。這使龐大的離散-連續規劃問題，與必須跨零件幾何泛化的接觸密集控制交織在一起。

提出的方法

階層式規劃器以零件網格與工作單元為輸入，用以物理為基礎的拆解規劃器找出先後層級，透過平行化的 IK 與碰撞檢查預先篩選雙臂抓取組合，並在組裝/扶持狀態樹上使用動態規劃，選出經穩定性最佳化的組裝順序與抓取。接著產生具有模塑凹槽的取件治具，並以 RRT-Connect 規劃移轉運動。每次插入時，由 Isaac Gym 中訓練的 PPO 策略在以路徑為中心的座標系中運作，此座標系將每一次直線插入對應為由上而下的插入，並透過任務空間阻抗控制器輸出對規劃運動的殘差修正。

關鍵見解

• 以穩定性而非僅以可行性來最佳化組裝順序與抓取，有助於下游控制：移除抓取最佳化後，實際步驟的整體成功率從 80% 降到 64%，而不良的組裝順序會造成不穩定與零件偏移。
• 以路徑為中心、具 SE(3) 等變性的轉換，讓單一策略只需學習由上而下的插入，並把方向資訊從觀測與動作中移除；少了這項轉換，實際步驟成功率降到 61%。
• 在規劃路徑上疊加殘差動作，搭配單純的負距離獎勵就已足夠，因為規劃器讓每次插入都從接近目標的位置開始。
• 以 3 mm 的姿態雜訊進行訓練，並在部署時使用 Policy-Level Action Integrator（將動作套用到上一個期望狀態），可讓模擬到現實（sim-to-real）的轉移更容易。
• 在其他六個組裝件上訓練的通用策略，在未見過的組裝件上表現與專門針對該組裝件訓練的專用策略相當。

主要結果

• 在真實世界中，組裝件專用策略與分布外的通用策略都有 80% 的組裝步驟在無人介入下成功，相較之下改編版 ASAP 為 55%，開迴路追蹤為 23%。
• 完整的多步驟實際組裝在介入一次時成功率為 81%，介入兩次時為 95%（專用）或 100%（通用）；未介入時所有方法都接近零。
• 在各階段平行化的情況下，規劃一個完整組裝件需要 173 s（Beam）到 593 s（Duct）。
• 在模擬中（每個組裝件 1,024 次試驗），RL 策略的步驟成功率為 58.6-100%，開迴路追蹤則為 0-24.2%。
• 規劃器已在搭配不同夾爪的 Franka Emika Panda、UFactory xArm7 與 UR5e 機器手臂上展示。
• 基準包含七個由 5 到 9 個零件組成的組裝件：橫梁、軸承座、汽車、遊戲手把、冷卻歧管、風管與凳子。

限制

• 假設僅以插入方式配合（無鎖螺絲或滑動）、子組裝件不重新定向、每個零件只移動一次，且零件重量相對於機器人負載較輕（作者）。
• 由於平行夾爪的抓取寬度有限，基準規模較小；大型或複雜零件將需要多指手或工具更換（作者）。
• 對兩支手臂的校正與取件治具的磨損相當敏感；次毫米等級的偏移就可能導致失敗（作者）。
• 沒有感知功能：零件從客製化的取件治具開始，而不是從料箱中取出（作者）。
• 模擬到現實之間仍有明顯落差：小零件會在夾爪墊片之間滑動，大型組裝件上誤差會累積，而且 RL 訓練中沒有為扶持用的夾爪建模（作者）。

對領域的影響

榮獲 CoRL 2025 最佳論文獎，目前已被引用 29 次。論文推出了一套包含七個組裝件的多零件組裝基準，並附上專案網站連結（fabrica.csail.mit.edu）；取得授權的 PMLR 版本未註明程式碼儲存庫。

摘要

多零件組裝對機器人構成重大挑戰：必須執行長時域、接觸密集的操作，並能泛化到複雜的幾何形狀。我們提出 Fabrica，這是一套雙臂機器人系統，能針對一般多零件物體的自主組裝進行端到端的規劃與控制。為了長時域規劃，我們建立了包含先後關係、組裝順序、抓取與運動規劃的階層架構，並能自動產生治具，使任何雙臂機器人都能執行一般的多步驟組裝。規劃器透過可平行化的設計提升效率，並針對下游控制的穩定性進行最佳化。針對接觸密集的組裝步驟，我們提出一個輕量的強化學習框架，在等變性與從規劃取得的殘差動作引導下，訓練可涵蓋不同物體幾何、組裝方向與抓取姿態的通用策略。這些策略能以零樣本方式轉移到真實世界，達到 80% 的步驟成功率。為了進行系統化評估，我們提出一套多零件組裝基準，其中的組裝件涵蓋多種類別與幾何形狀，類似工業與日常物品。藉由整合高效率的全域規劃與穩健的局部控制，我們展示了第一個無需領域知識或人類示範、即可在真實世界完成完整且可泛化的多零件組裝的系統。專案網站：http://fabrica.csail.mit.edu/

連結

• arXiv 2506.05168: https://arxiv.org/abs/2506.05168
• DOI 10.48550/arXiv.2506.05168: https://doi.org/10.48550/arXiv.2506.05168
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/tian25a/tian25a.pdf
• 專案頁面: http://fabrica.csail.mit.edu/