Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models

Autores: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Suavizar a dinâmica de contato, por amostragem como faz o RL ou analiticamente com uma barreira logarítmica, gera gradientes úteis; com um modelo quase-dinâmico convexo, o RRT então planeja tarefas de destreza em cerca de um minuto.

Por que importa

O método oferece uma alternativa online e baseada em modelos ao treinamento de políticas de aprendizado por reforço para tarefas ricas em contatos: planos para rotação na mão, posicionamento de uma caneta, coleta de um prato contra uma parede e abertura de porta são produzidos na ordem de um minuto em uma CPU. Os autores contrastam isso com ferramentas de RL que dependem de computação offline de horas ou dias, e descrevem seu planejador como generalizável em relação a ambientes e tarefas.

Problema

O planejamento baseado em modelos através do contato enfrenta três obstáculos: o número de modos de contato explode (a manipulação na mão em 3D pode ter trilhões), a dinâmica de contato é rígida e não suave, então os gradientes explodem ou saltam, e o problema de planejamento é não convexo. O aprendizado por reforço lida com a manipulação rica em contatos amostrando e fazendo a média sobre os modos de contato, mas depende de computação offline medida em horas ou dias. Os planejadores baseados em amostragem existentes para contato enumeram ou amostram modos de contato explicitamente e escalam mal com o número de contatos.

Solução proposta

Os autores primeiro mostram que a suavização aleatorizada (amostrar e fazer a média, como faz o RL) e a suavização analítica calculam modelos lineares locais do mesmo substituto suave, de forma equivalente para sistemas simples. Em seguida constroem o CQDC, um modelo de contato convexo, quase-dinâmico e diferenciável formulado como um programa cônico de segunda ordem com a relaxação de atrito de Anitescu, cujos gradientes vêm das condições KKT e que é suavizado analiticamente com uma relaxação de barreira logarítmica. Por fim, executam o RRT com uma métrica de distância de Mahalanobis local e um passo de extensão construído a partir das linearizações suavizadas, acrescentam um passo de amostragem de contatos que recoloca o robô em contato e refinam o caminho resultante com MPC iterativo e atalhos (shortcutting).

Principais ideias

A suavização aleatorizada (como a usada pelo RL) e a suavização analítica são duas formas de calcular modelos lineares locais da mesma dinâmica suavizada; elas são equivalentes para sistemas simples e tiveram desempenho semelhante nos exemplos complexos.
A suavização analítica por meio de uma relaxação com barreira logarítmica precisa de uma única resolução por linearização, por isso rodou mais rápido do que a suavização aleatorizada, que faz a média de 100 amostras.
O modelo quase-dinâmico descarta as velocidades e a dinâmica transitória, reduzindo o estado pela metade e permitindo passos de tempo muito maiores, de modo que cada linearização informa ao planejador mais sobre o comportamento de longo prazo.
Uma métrica de Mahalanobis local construída a partir de linearizações suavizadas permite que o RRT respeite a alcançabilidade por contato; uma métrica euclidiana ponderada globalmente uniforme e ajustada à mão teve desempenho muito pior.
A amostragem de contatos foi essencial para tarefas que exigem reposicionar o robô (empurrar no plano, mão planar, rotação na mão com Allegro), mas não para a coleta do prato nem para o posicionamento da caneta.

Principais resultados

MPC iterativo, custo mínimo em 10 iterações e 5 tentativas: rotação na mão com Allegro 5,78 com suavização analítica contra 44,68 com gradientes exatos (sem suavização); empurrar no plano 11,74 contra 31,64.
Na tarefa da mão planar, que passa por poucas mudanças de modo de contato, os gradientes exatos também foram bem (custo de 18,49 contra 26,55 da analítica e 17,87 da aleatorizada de primeira ordem).
Com 100 amostras em 32 threads, a suavização aleatorizada foi de 2 a 3 vezes mais lenta que a suavização analítica no MPC iterativo (rotação com Allegro: 40,07 s contra 19,59 s).
O RRT por 1000 iterações com suavização analítica levou 3,25 s (empurrar no plano), 31,01 s (rotação com Allegro), 24,84 s (posicionamento da caneta), 12,42 s (abertura de porta) e 117,16 s (coleta do prato); a suavização aleatorizada de primeira ordem levou de 7,50 s a 161,64 s.
Em todas as tarefas de RRT, usar linearizações exatas para a métrica e a extensão resultou em distância ao objetivo e cobertura do espaço muito piores do que qualquer esquema de suavização.
Todos os experimentos rodaram em um único desktop com uma CPU AMD Threadripper 2950 (16 núcleos, 32 threads) e 32 GB de RAM.

Limitações

A amostragem de contatos teletransporta o robô entre configurações, o que não é físico; só funciona quando o objeto permanece em equilíbrio estático sem os dedos movidos (por exemplo, uma bola apoiada em uma palma voltada para cima), e não para uma mão voltada para baixo.
Passos de extensão grandes produzem artefatos não físicos vindos da relaxação convexa de Anitescu do atrito de Coulomb, então é preciso uma passada de refinamento com MPC iterativo e atalhos para obter trajetórias fisicamente realistas.
A hipótese quase-dinâmica deixa de valer para comportamentos altamente dinâmicos.
O crescimento da árvore ainda pode travar, formando "vassouras" de muitos nós filhos que falharam a partir de um mesmo pai.
Todos os resultados desta versão são em simulação (implementados no Drake); o planejamento em tempo real é citado como trabalho futuro.

Impacto na área

O artigo recebeu o prêmio T-RO 2024 King-Sun Fu Memorial Best Paper Award (menção honrosa) e tem 210 citações. Ele disponibiliza um vídeo dos planos gerados; esta versão não traz link para o código.

Resumo

O sucesso empírico do aprendizado por reforço (Reinforcement Learning, RL) no contexto da manipulação rica em contatos deixa muito a ser compreendido sob uma perspectiva baseada em modelos, em que as principais dificuldades costumam ser atribuídas a (i) a explosão de modos de contato, (ii) a dinâmica de contato rígida e não suave e os consequentes gradientes explosivos / descontínuos, e (iii) a não convexidade do problema de planejamento. A natureza estocástica do RL trata (i) e (ii) ao amostrar e fazer a média dos modos de contato de forma eficaz. Por outro lado, métodos baseados em modelos enfrentaram os mesmos desafios suavizando a dinâmica de contato analiticamente. Nossa primeira contribuição é estabelecer a equivalência teórica dos dois métodos para sistemas simples e fornecer equivalência qualitativa e empírica em vários exemplos complexos. Para aliviar ainda mais (ii), nossa segunda contribuição é uma formulação convexa, diferenciável e quase-dinâmica da dinâmica de contato, que admite ambos os esquemas de suavização e se mostrou, em experimentos, altamente eficaz para o planejamento rico em contatos. Nossa última contribuição resolve (iii): mostramos que algoritmos clássicos de planejamento de movimento baseados em amostragem podem ser eficazes no planejamento global quando os modos de contato são abstraídos por meio de suavização. Aplicando nosso método a um conjunto de tarefas desafiadoras de manipulação rica em contatos, demonstramos que um planejamento de movimento eficiente baseado em modelos pode alcançar resultados comparáveis aos do RL com drasticamente menos computação. Vídeo: https://youtu.be/12Ew4xC-VwA

Open Source Robotics