Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

저자: Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik · CoRL 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

Fabrica는 부품 메시로부터 양팔 조립을 위한 순서, 파지, 고정구, 동작을 계획한 다음 제로샷으로 전이되는 RL 삽입 정책을 사용하여 실제 단계 성공률 80%에 도달한다.

중요한 이유

인간 시연이나 도메인별 엔지니어링 없이 CAD 조립체에서 로봇 실행까지 이어지는 엔드투엔드 경로이며, 계획기는 시뮬레이션에서 여러 양팔 구성으로 시연되었다. 계획에는 몇 분이 걸리고 범용 삽입 정책은 학습하지 않은 조립체도 처리할 수 있어, 오늘날 조립 셀이 신제품마다 필요로 하는 느린 수작업 재프로그래밍 문제를 겨냥한다.

문제

오늘날 조립 로봇은 전용 인프라와 강성 제어기를 사용해 수작업으로 프로그래밍되므로 신제품에 느리게 적응하고 불확실성에 민감하다. 연구는 대부분 한 팔로 두 부품을 위에서 아래로 삽입하는 경우를 다루었지만, 다중 부품 조립에는 다양한 삽입 방향과 파지, 그리고 삽입력에 맞서 부품을 잡아 주는 두 번째 팔이 필요하다. 이는 거대한 이산-연속 계획 문제와 부품 형상 전반에 걸쳐 일반화해야 하는 접촉이 많은 제어를 결합시킨다.

제안 방법

계층적 계획기는 부품 메시와 작업 셀을 입력받아 물리 기반 분해 계획기로 선행 계층을 찾고, 병렬 IK와 충돌 검사로 양팔 파지 쌍을 사전 필터링한 뒤, 조립/고정 상태 트리에 대한 동적 계획법으로 안정성이 최적화된 순서와 파지를 선택한다. 그런 다음 성형된 홈이 있는 픽업 고정구를 생성하고 RRT-Connect로 이동 동작을 계획한다. 각 삽입에 대해 Isaac Gym에서 학습한 PPO 정책은 모든 직선 삽입을 위에서 아래로의 삽입으로 매핑하는 경로 중심 좌표계에서 작동하며, 작업 공간 임피던스 제어기를 통해 계획된 동작에 대한 잔차 보정값을 출력한다.

핵심 통찰

순서와 파지를 단순한 실현 가능성이 아니라 안정성을 기준으로 최적화하면 후속 제어에 도움이 된다. 파지 최적화를 제거하자 전체 실제 단계 성공률이 80%에서 64%로 떨어졌고, 부적절한 순서는 불안정성과 부품 이탈을 일으켰다.
경로 중심의 SE(3) 등변 변환 덕분에 하나의 정책이 위에서 아래로의 삽입만 학습하고 관측과 행동에서 방향 정보를 제외할 수 있다. 이것이 없으면 실제 단계 성공률이 61%로 떨어졌다.
계획기가 각 삽입을 목표 근처에서 시작하므로, 계획된 경로 위의 잔차 행동과 단순한 음의 거리 보상만으로 충분하다.
3 mm의 자세 노이즈로 학습하고, 마지막 목표 상태에 행동을 적용하는 Policy-Level Action Integrator로 배포하면 sim-to-real 전이가 쉬워진다.
나머지 여섯 개 조립체로 학습한 범용 정책은 처음 보는 조립체에서 그 조립체로 학습한 전문 정책만큼 좋은 성능을 냈다.

주요 결과

실제 환경에서 조립체 전문 정책과 분포 외(out-of-distribution) 범용 정책 모두 조립 단계의 80%가 개입 없이 성공했으며, 이는 조정된 ASAP의 55%, 개루프 추종의 23%와 대비된다.
완전한 다단계 실제 조립은 1회 개입 시 81%, 2회 개입 시 95%(전문 정책) 또는 100%(범용 정책) 성공했다. 개입이 없으면 모든 방법이 0에 가까웠다.
병렬화된 단계로 전체 조립을 계획하는 데 173초(Beam)에서 593초(Duct)가 걸렸다.
시뮬레이션(조립체당 1,024회 시행)에서 RL 정책은 58.6~100%의 단계 성공률에 도달했으며, 개루프 추종은 0~24.2%였다.
계획기는 서로 다른 그리퍼를 장착한 Franka Emika Panda, UFactory xArm7, UR5e 팔에서 시연되었다.
5~9개 부품으로 이루어진 일곱 가지 조립체의 벤치마크: 빔(beam), 플러머 블록, 자동차, 게임패드, 냉각 매니폴드, 덕트, 스툴.

한계

삽입만으로 결합되고(나사 체결이나 슬라이딩 없음), 하위 조립체의 재배향이 없으며, 각 부품은 한 번만 이동되고, 부품이 로봇 가반하중에 비해 가볍다고 가정한다(저자).
평행 그리퍼의 파지 폭이 제한적이어서 벤치마크 규모가 작다. 크거나 복잡한 부품에는 다지 핸드나 공구 교환이 필요할 것이다(저자).
두 팔의 캘리브레이션과 픽업 고정구의 마모에 민감하여 1밀리미터 미만의 이동도 실패를 일으킬 수 있다(저자).
인식 기능이 없다. 부품은 빈(bin)에서 집어 오는 것이 아니라 맞춤형 픽업 고정구에서 시작한다(저자).
뚜렷한 sim-to-real 격차가 남아 있다. 작은 부품은 그리퍼 패드 사이로 미끄러지고, 큰 조립체에서는 오차가 누적되며, 고정용 그리퍼는 RL 학습에서 모델링되지 않는다(저자).

분야에 미친 영향

CoRL 2025 Best Paper Award 수상작이며, 현재까지 피인용 29회이다. 논문은 다중 부품 조립을 위한 일곱 가지 조립체의 벤치마크 모음을 소개하고 프로젝트 웹사이트(fabrica.csail.mit.edu)를 링크하지만, 라이선스가 부여된 PMLR 사본에는 코드 저장소가 명시되어 있지 않다.

초록

다중 부품 조립은 복잡한 형상 전반에 걸친 일반화와 함께 장기 지평(long-horizon)의 접촉이 많은 조작을 수행해야 하는 로봇에게 상당한 과제를 제기한다. 우리는 일반적인 다중 부품 물체의 자율 조립을 위해 엔드투엔드 계획과 제어가 가능한 양팔 로봇 시스템인 Fabrica를 제시한다. 장기 지평 계획을 위해 우리는 자동 고정구(fixture) 생성과 함께 선행 관계, 순서, 파지, 동작 계획의 계층 구조를 개발하여 어떤 양팔 로봇에서든 일반적인 다단계 조립을 가능하게 한다. 이 계획기는 병렬화 가능한 설계를 통해 효율적으로 만들어졌으며, 후속 제어의 안정성을 위해 최적화되었다. 접촉이 많은 조립 단계를 위해 우리는 계획에서 얻은 등변성(equivariance)과 잔차 행동(residual action)의 안내를 받아 물체 형상, 조립 방향, 파지 자세 전반에 걸쳐 범용 정책을 학습하는 경량 강화학습 프레임워크를 제안한다. 이 정책들은 실제 환경으로 제로샷 전이되며 80%의 단계 성공률을 달성한다. 체계적인 평가를 위해 우리는 다양한 범주와 형상에 걸쳐 산업용 및 일상 물체를 닮은 다중 부품 조립의 벤치마크 모음을 제안한다. 효율적인 전역 계획과 강건한 국소 제어를 통합함으로써, 우리는 도메인 지식이나 인간 시연 없이 완전하고 일반화 가능한 실제 다중 부품 조립을 달성한 최초의 시스템을 선보인다. 프로젝트 웹사이트: http://fabrica.csail.mit.edu/

링크

arXiv 2506.05168: https://arxiv.org/abs/2506.05168
DOI 10.48550/arXiv.2506.05168: https://doi.org/10.48550/arXiv.2506.05168
PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/tian25a/tian25a.pdf
프로젝트 페이지: http://fabrica.csail.mit.edu/