Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

Autores: Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik · CoRL 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O Fabrica planeja a sequência, as preensões, os dispositivos de fixação e os movimentos para a montagem com dois braços a partir das malhas das peças e depois usa políticas de inserção por RL que se transferem zero-shot, chegando a 80 % de passos reais bem-sucedidos.

Por que importa

É um caminho de ponta a ponta de uma montagem CAD até a execução pelo robô sem demonstrações humanas nem engenharia específica de domínio, e o planejador foi demonstrado em simulação em várias configurações de dois braços. O planejamento leva minutos e uma política de inserção generalista consegue lidar com uma montagem na qual não foi treinada, o que ataca a reprogramação lenta e manual de que as células de montagem atuais precisam para cada novo produto.

Problema

Hoje os robôs de montagem são programados à mão com infraestrutura feita sob medida e controladores rígidos, por isso se adaptam lentamente a novos produtos e são sensíveis à incerteza. A pesquisa cobriu principalmente a inserção vertical de duas peças com um braço, enquanto a montagem de múltiplas peças exige direções de inserção e preensões variadas e um segundo braço segurando as peças contra as forças de inserção. Isso acopla um grande problema de planejamento discreto-contínuo a um controle rico em contato que precisa generalizar entre geometrias de peças.

Solução proposta

Um planejador hierárquico recebe as malhas das peças e a célula de trabalho, encontra níveis de precedência com um planejador de desmontagem baseado em física, pré-filtra pares de preensões de dois braços com IK em paralelo e verificações de colisão, e usa programação dinâmica sobre uma árvore de estados montar/segurar para escolher uma sequência e preensões otimizadas para estabilidade. Em seguida, gera um dispositivo de coleta com cavidades moldadas e planeja os movimentos de trânsito com RRT-Connect. Para cada inserção, uma política PPO treinada no Isaac Gym trabalha em um referencial centrado no caminho que mapeia cada inserção reta para uma vertical de cima para baixo e produz correções residuais ao movimento planejado por meio de um controlador de impedância no espaço da tarefa.

Principais ideias

Otimizar a sequência e as preensões para estabilidade, e não apenas para viabilidade, ajuda o controle subsequente: remover a otimização de preensão reduziu o sucesso geral de passos reais de 80 % para 64 %, e um sequenciamento ruim causou instabilidade e deriva das peças.
Uma transformação centrada no caminho e equivariante em SE(3) permite que uma política aprenda apenas a inserção vertical de cima para baixo e elimine a orientação de suas observações e ações; sem ela, o sucesso de passos reais caiu para 61 %.
Ações residuais sobre o caminho planejado e uma simples recompensa de distância negativa bastam, porque o planejador inicia cada inserção perto do objetivo.
Treinar com ruído de pose de 3 mm e implantar com um Policy-Level Action Integrator, que aplica as ações ao último estado desejado, facilita a transferência sim-to-real.
Políticas generalistas treinadas nas outras seis montagens se saíram tão bem em uma montagem não vista quanto especialistas treinadas nela.

Principais resultados

No mundo real, 80 % dos passos de montagem tiveram sucesso sem intervenção tanto para políticas especialistas por montagem quanto para políticas generalistas fora da distribuição, contra 55 % do ASAP adaptado e 23 % do rastreamento em malha aberta.
Montagens reais completas de múltiplos passos tiveram sucesso em 81 % das vezes com uma intervenção e em 95 % (especialista) ou 100 % (generalista) com duas; sem intervenção, todos os métodos ficaram perto de zero.
Planejar uma montagem completa levou de 173 s (Beam) a 593 s (Duct) com etapas paralelizadas.
Em simulação (1.024 tentativas por montagem), as políticas de RL atingiram 58,6-100 % de passos bem-sucedidos, contra 0-24,2 % do rastreamento em malha aberta.
O planejador foi demonstrado em braços Franka Emika Panda, UFactory xArm7 e UR5e com garras diferentes.
Benchmark de sete montagens com 5 a 9 peças: viga, mancal de tubulação, carro, controle de videogame, coletor de refrigeração, duto e banqueta.

Limitações

Pressupõe acoplamento apenas por inserção (sem aparafusamento nem deslizamento), nenhuma reorientação da submontagem, cada peça movida uma vez e peças leves em relação à carga útil do robô (autores).
O benchmark é pequeno porque garras paralelas têm abertura de preensão limitada; peças grandes ou complexas exigiriam mãos com vários dedos ou troca de ferramenta (autores).
Sensível à calibração dos dois braços e ao desgaste do dispositivo de coleta; deslocamentos submilimétricos podem causar falhas (autores).
Sem percepção: as peças começam em um dispositivo de coleta personalizado em vez de serem retiradas de uma caixa (autores).
Resta uma clara lacuna sim-to-real: peças pequenas escorregam entre as almofadas da garra, os erros se acumulam em montagens grandes e a garra de sustentação não é modelada no treinamento por RL (autores).

Impacto na área

Vencedor do CoRL 2025 Best Paper Award, com 29 citações até agora. O artigo apresenta um conjunto de benchmarks de sete montagens para montagem de múltiplas peças e traz o link de um site do projeto (fabrica.csail.mit.edu); a cópia licenciada do PMLR não cita um repositório de código.

Resumo

A montagem de múltiplas peças impõe desafios significativos para que robôs executem manipulação de horizonte longo e rica em contato, com generalização para geometrias complexas. Apresentamos o Fabrica, um sistema robótico de dois braços capaz de planejamento e controle de ponta a ponta para a montagem autônoma de objetos gerais de múltiplas peças. Para o planejamento em horizontes longos, desenvolvemos hierarquias de planejamento de precedência, de sequência, de preensão e de movimento com geração automatizada de dispositivos de fixação, permitindo montagem geral de múltiplos passos em quaisquer robôs de dois braços. O planejador se torna eficiente por meio de um projeto paralelizável e é otimizado para a estabilidade do controle subsequente. Para os passos de montagem ricos em contato, propomos um framework leve de aprendizado por reforço que treina políticas generalistas para diferentes geometrias de objetos, direções de montagem e poses de preensão, guiado por equivariância e por ações residuais obtidas do plano. Essas políticas são transferidas zero-shot para o mundo real e alcançam 80 % de passos bem-sucedidos. Para uma avaliação sistemática, propomos um conjunto de benchmarks de montagens de múltiplas peças que se assemelham a objetos industriais e do dia a dia de diversas categorias e geometrias. Ao integrar planejamento global eficiente e controle local robusto, apresentamos o primeiro sistema a alcançar montagem de múltiplas peças completa e generalizável no mundo real sem conhecimento de domínio nem demonstrações humanas. Site do projeto: http://fabrica.csail.mit.edu/

Open Source Robotics