Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

作者: Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik · CoRL 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

Fabrica 根据零件网格为双臂装配规划顺序、抓取、夹具和运动，再使用以零样本方式迁移的 RL 插装策略，真实装配步骤成功率达到 80%。

为何重要

它提供了一条从 CAD 装配体到机器人执行的端到端路线，无需人类示范或特定领域的工程，且规划器已在仿真中于多种双臂配置上得到演示。规划只需几分钟，通用插装策略还能处理训练中未见过的装配体，这针对的正是当今装配单元每遇到新产品都需要进行的缓慢、手动重新编程。

问题

如今的装配机器人依靠专门搭建的基础设施和刚性控制器进行手动编程，因此适应新产品很慢，并且对不确定性敏感。研究大多只涉及单臂、两零件、自上而下的插装，而多零件装配需要多样的插装方向和抓取方式，还需要第二只手臂夹持零件以抵抗插装力。这使一个庞大的离散-连续规划问题与必须跨零件几何形状泛化的接触丰富控制耦合在一起。

提出的方法

层级规划器以零件网格和工作单元为输入，使用基于物理的拆卸规划器找出先后层级，利用并行 IK 和碰撞检测预先筛选双臂抓取对，并在装配/夹持状态树上使用动态规划来选择经过稳定性优化的装配顺序和抓取。随后，它生成带有模制型腔的取件夹具，并用 RRT-Connect 规划转移运动。对于每次插装，在 Isaac Gym 中训练的 PPO 策略在以路径为中心的坐标系中工作，该坐标系将每次直线插装映射为自上而下的插装，并通过任务空间阻抗控制器输出对规划运动的残差修正。

关键见解

• 按稳定性而不仅仅是可行性来优化装配顺序和抓取，有助于下游控制：去掉抓取优化后，真实步骤总体成功率从 80% 降至 64%，而糟糕的装配顺序会导致不稳定和零件漂移。
• 以路径为中心的 SE(3) 等变变换使单一策略只需学习自上而下的插装，并从其观测和动作中去掉朝向；没有该变换时，真实步骤成功率降至 61%。
• 在规划路径之上叠加残差动作，并使用简单的负距离奖励就已足够，因为规划器让每次插装都从接近目标的位置开始。
• 使用 3 mm 位姿噪声进行训练，并在部署时使用 Policy-Level Action Integrator（将动作作用于上一个期望状态），可以简化从仿真到现实的迁移。
• 在其他六个装配体上训练的通用策略，在一个未见过的装配体上的表现与在该装配体上训练的专用策略一样好。

主要结果

• 在真实世界中，装配专用策略和分布外通用策略均有 80% 的装配步骤无需干预即成功，而改编后的 ASAP 为 55%，开环跟踪为 23%。
• 完整的多步骤真实装配在一次干预下成功率为 81%，在两次干预下为 95%（专用）或 100%（通用）；不加干预时所有方法都接近于零。
• 在各阶段并行化的情况下，规划一个完整装配体耗时 173 s（Beam）至 593 s（Duct）。
• 在仿真中（每个装配体 1,024 次试验），RL 策略的步骤成功率达到 58.6-100%，而开环跟踪为 0-24.2%。
• 规划器已在配备不同夹爪的 Franka Emika Panda、UFactory xArm7 和 UR5e 机械臂上得到演示。
• 基准包含七个由 5 到 9 个零件组成的装配体：横梁、轴承座、汽车、游戏手柄、冷却歧管、管道和凳子。

局限

• 假设仅通过插装进行配合（无拧紧或滑动），子装配体不重新定向，每个零件只移动一次，且零件相对于机器人负载能力较轻（作者）。
• 基准规模较小，因为平行夹爪的抓取宽度有限；大型或复杂零件需要多指手或工具更换（作者）。
• 对两只手臂的标定以及取件夹具的磨损很敏感；亚毫米级的偏移就可能导致失败（作者）。
• 没有感知：零件从定制的取件夹具开始，而不是从料箱中拾取（作者）。
• 仍存在明显的仿真到现实差距：小零件会在夹爪垫片之间滑动，大型装配体上误差会累积，而且 RL 训练中没有对夹持用的夹爪进行建模（作者）。

对领域的影响

荣获 CoRL 2025 最佳论文奖，目前已被引用 29 次。论文提出了一个包含七个装配体的多零件装配基准套件，并提供了项目网站链接（fabrica.csail.mit.edu）；获得许可的 PMLR 版本未注明代码仓库。

摘要

多零件装配给机器人带来了重大挑战：需要执行长时程、接触丰富的操作，并能泛化到复杂的几何形状。我们提出 Fabrica，这是一个双臂机器人系统，能够对通用多零件物体的自主装配进行端到端的规划与控制。针对长时程规划，我们构建了包含先后约束、装配顺序、抓取和运动规划的层级结构，并能自动生成夹具，从而在任意双臂机器人上实现通用的多步骤装配。规划器采用可并行化设计以提高效率，并针对下游控制的稳定性进行了优化。针对接触丰富的装配步骤，我们提出一种轻量级强化学习框架，在等变性和从规划中获得的残差动作的引导下，训练能够跨物体几何形状、装配方向和抓取位姿的通用策略。这些策略以零样本方式迁移到真实世界，实现了 80% 的步骤成功率。为进行系统评估，我们提出了一个多零件装配基准套件，涵盖多种类别和几何形状、类似工业和日常物品的装配体。通过整合高效的全局规划与鲁棒的局部控制，我们展示了首个无需领域知识或人类示范即可实现完整且可泛化的真实世界多零件装配的系统。项目网站：http://fabrica.csail.mit.edu/

链接

• arXiv 2506.05168: https://arxiv.org/abs/2506.05168
• DOI 10.48550/arXiv.2506.05168: https://doi.org/10.48550/arXiv.2506.05168
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/tian25a/tian25a.pdf
• 项目主页: http://fabrica.csail.mit.edu/