FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding

Autores: Huy Ha, Shuran Song · CoRL 2021

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um robô de dois braços aprende, de forma autossupervisionada, onde pegar um tecido amassado para um movimento fixo de pegar, esticar e sacudir, superando o pick & place quase estático em cobertura e número de passos.

Por que importa

O artigo mostra que uma única primitiva aprendida de alta velocidade consegue desdobrar um tecido em poucas ações, lidar com tecidos maiores que o alcance e se transferir de retângulos para camisetas. O sistema real detecta o tecido esticado com uma segunda câmera RGB-D em vez de sensores de força, e o sinal de treinamento vem de uma máscara de uma câmera vista de cima, o que mantém o hardware simples.

Problema

A maioria dos sistemas de desdobramento de tecidos usa ações quase estáticas com um único braço, como pick & place, que exigem muitas interações em tecidos muito amassados e não conseguem lidar com tecidos maiores que o alcance do braço. Métodos heurísticos baseados em cantos, bordas ou dobras falham quando esses pontos-chave estão ocluídos, não visíveis ou ausentes em tecidos não quadrados.

Solução proposta

O FlingBot fixa uma primitiva de movimento de dois braços (preensão em pinça vista de cima em dois pontos, elevação a 0,30 m e esticamento até ficar tenso, sacudida para a frente de 0,70 m a 1,4 m/s, recuo de 0,50 m, colocação) e aprende apenas onde pegar, parametrizado por um pixel central, um ângulo e uma largura para que as restrições de ordem dos braços e de largura da preensão continuem lineares e independentes. Uma rede de valor prevê a cobertura delta por pixel em uma imagem vista de cima em 12 rotações e 8 escalas (mapas de ação espaciais); ela é treinada de forma autossupervisionada em um simulador próprio baseado em PyFleX e depois ajustada em dois braços UR5 reais.

Principais ideias

Fixar o movimento de esticar e sacudir reduz o aprendizado à escolha de dois pontos de preensão; aprender também a velocidade da sacudida (FlingBot-S) não trouxe ganho significativo.
Parametrizar a preensão de dois braços por centro, ângulo em [−90°, 90°] e largura torna as restrições de esquerda-direita e de distância entre os braços lineares e independentes.
Usar a equivariância a translação, rotação e escala por meio de mapas de ação espaciais é essencial: a regressão direta dos parâmetros de preensão (Fling-Reg) alcançou apenas +0,3 % de cobertura delta em retângulos normais.
Por tentativa e erro, a política aprendeu a pegar cantos e bordas visíveis, ou a sacudir para revelá-los, uma estratégia que métodos heurísticos anteriores projetavam à mão.
Sacudir amplia o alcance efetivo, de modo que tecidos maiores que o alcance dos braços ainda podem ser desdobrados.

Principais resultados

Simulação, retângulos normais (cobertura final / delta): FlingBot 91,9 % / +63,1 % contra Pick&Place 53,0 / +24,2, Pick&Drag 58,0 / +29,2 e Stretch&Drag 77,2 / +48,4.
Mais de 80 % de cobertura em 3 ações em tecidos retangulares normais novos na simulação.
Retângulos grandes, além do alcance: 79,2 % de cobertura final e +52,0 % de cobertura delta, cerca do dobro das baselines quase estáticas (+24,8 %, +27,1 %, +23,1 %).
Camisetas, não vistas no treinamento: 93,3 % de cobertura final / +46,8 % de cobertura delta na simulação.
Sistema real com dois UR5, 10 episódios de teste por tipo de tecido: cobertura final de 81,9 %, 88,5 % e 89,2 % em retângulo normal, retângulo grande e camiseta, contra 43,2 %, 38,4 % e 42,7 % do Pick&Place; o ajuste fino elevou a cobertura no tecido normal de 69,8 % para 81,9 %.
Tempo mediano por primitiva de sacudida de 16,7 s contra 8,8 s para pick & place, mais sobrecargas de 2,5 s e 2,9 s para ambos.

Limitações

É necessário trabalho futuro para tarefas com tecidos mais complexas e condicionadas a objetivos, como dobrar, que os autores sugerem abordar combinando ações dinâmicas e quase estáticas com estimativa da pose do tecido.
Os experimentos usam uma área de trabalho preta lisa e tecidos coloridos sem textura para facilitar a criação de máscaras; texturas arbitrárias exigiriam segmentação adicional ou subtração de fundo.
Os resultados no mundo real são médias de 10 episódios de teste por tipo de tecido, com os erros de preensão do mundo real filtrados.
Uma sacudida leva mais tempo que um pick & place (mediana de 16,7 s contra 8,8 s), embora precise de menos ações.
A montagem real dependia de um tapete de borracha de 2 polegadas e de capas de borracha nos dedos da garra para ajudar nas preensões em pinça, e o treinamento até a convergência levou cerca de 6 dias em uma GTX 1080 Ti.

Impacto na área

Vencedor do CoRL 2021 Best System Paper Award, com 229 citações segundo o número informado. Os autores disponibilizam código, o ambiente de simulação, dados e vídeos dos experimentos pela página do projeto, incluindo um simulador próprio sobre PyFleX que carrega malhas de tecido arbitrárias.

Resumo

Ações dinâmicas de alta velocidade (por exemplo, sacudir ou arremessar) desempenham um papel crucial em nossa interação cotidiana com objetos deformáveis, melhorando nossa eficiência e ampliando efetivamente nosso alcance físico. No entanto, a maioria dos trabalhos anteriores abordou a manipulação de tecidos usando exclusivamente ações quase estáticas com um único braço, o que exige um grande número de interações para configurações iniciais difíceis do tecido e limita estritamente o tamanho máximo do tecido ao alcance do robô. Neste trabalho, demonstramos a eficácia de ações dinâmicas de sacudida para desdobrar tecidos com nosso framework de aprendizado autossupervisionado proposto, FlingBot. Nossa abordagem aprende a desdobrar um pedaço de tecido a partir de configurações iniciais arbitrárias usando uma primitiva de pegar, esticar e sacudir para um sistema de dois braços a partir de observações visuais. O sistema final atinge mais de 80 % de cobertura em 3 ações em tecidos novos, consegue desdobrar tecidos maiores que o alcance do sistema e generaliza para camisetas apesar de ter sido treinado apenas com tecidos retangulares. Também fizemos o ajuste fino do FlingBot em uma plataforma robótica real de dois braços, onde ele aumentou a cobertura do tecido mais de 4 vezes mais do que a baseline quase estática. A simplicidade do FlingBot, combinada com seu desempenho superior às baselines quase estáticas, demonstra a eficácia de ações dinâmicas para a manipulação de objetos deformáveis.

Open Source Robotics