RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

Autores: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O RoPotter ensina um robô a moldar argila em um torno de oleiro em dois tipos de tigela a partir de 40 demonstrações cada, usando uma seção transversal 2D da argila e uma recuperação baseada em malha dos pontos ocultos.

Por que importa

Ele define uma tarefa de horizonte longo para a manipulação contínua de objetos deformáveis volumétricos usando um simples dedo rígido sem graus de liberdade, e mostra que conhecimentos prévios baratos sobre a tarefa (simetria e rigidez local) podem substituir modelos dinâmicos aprendidos. Sua avaliação, que compara as tigelas produzidas com as demonstradas pela distância de Chamfer e pela similaridade CLIP, é uma abordagem viável para tarefas sem um rótulo de sucesso claro.

Problema

Objetos deformáveis volumétricos como a argila são difíceis de modelar: modelos dinâmicos aprendidos precisam de muitas amostras e enfrentam uma grande lacuna sim-to-real no contato, por isso trabalhos anteriores com argila usavam ações discretas e específicas da tarefa, com uma visão clara do objeto entre elas. Em um torno de oleiro, a argila se deforma continuamente sob contato e fica parcialmente escondida pelo dedo do robô, então nenhuma das abordagens se aplica.

Solução proposta

O RoPotter usa conhecimentos prévios estruturais da tarefa de cerâmica. Como o torno torna a argila radialmente simétrica, o RoPotter-2D representa a argila por uma seção transversal de pontos a até 5 mm de um plano que passa por seu centro de massa, enquanto o RoPotter-Mesh ajusta uma malha à seção transversal inicial, empurra os vértices para fora do dedo, move os vértices visíveis para os pontos observados e aplica a deformação As-Rigid-As-Possible (ARAP) para estimar a argila oculta. Uma política de difusão baseada na 3D Diffusion Policy (DP3), com uma variante de codificador 2D, é treinada sobre esses estados a partir de demonstrações teleoperadas.

Principais ideias

A simetria radial no torno permite reduzir o estado 3D da argila a uma seção transversal 2D que ainda captura diâmetro, altura e espessura da parede.
Tratar o contato do dedo e impor rigidez local com ARAP recupera a argila escondida atrás do dedo; acrescentar a etapa ARAP reduziu a distância de Chamfer em 66,3 %.
Como o diâmetro de abertura depende da massa de argila, a política precisa adaptar a fase de levantamento da parede ao estado observado; a baseline DP3 foi a que menos se adaptou, fazendo tigelas altas demais com mais argila e baixas demais com menos.
As próprias tigelas demonstradas variam cerca de 2,0 mm, o que limita o quanto qualquer política pode se aproximar delas em distância de Chamfer.

Principais resultados

O RoPotter-Mesh produziu erro de forma final 44,4 % menor que a baseline DP3 na tarefa da tigela larga com 250 g de argila (distância de Chamfer de 2,75 mm contra 4,95 mm).
Ablação da reconstrução da malha (distância de Chamfer na seção transversal / na nuvem de pontos completa): método completo 1,50 / 2,58 mm; sem ARAP 4,45 / 7,74 mm; sem tratamento do contato 15,41 / 17,01 mm; referência observada 0,0 / 2,46 mm.
Em todas as tarefas com 250 g ou 350 g de argila, a distribuição da distância de Chamfer em relação às tigelas demonstradas foi menor para as duas políticas propostas do que para a baseline.
O DP3 foi melhor apenas na tigela alta com 350 g (1,96 mm), em que o RoPotter-2D também ficou abaixo de 2,0 mm (1,99 mm); o DP3 falhou em um ensaio da tigela alta com 300 g.
A similaridade CLIP com as tigelas demonstradas variou de 0,940 a 0,974 entre os métodos e concordou com a métrica geométrica.

Limitações

Os autores afirmam que o RoPotter-Mesh depende de uma malha bem inicializada e de ações do robô consistentes e observadas com precisão, premissas que valem em sua configuração controlada e estruturada, mas não em geral.
As políticas não são condicionadas a um objetivo; cada forma de tigela é aprendida a partir de suas próprias demonstrações, e definir uma representação útil do objetivo fica para trabalhos futuros.
A tarefa não tem um critério de sucesso claro, e os autores observam que a distância de Chamfer é enviesada por pontos atípicos e faz a média de características de alta frequência.
O método supõe simetria radial e argila quase estática, ignorando efeitos dinâmicos.
Os resultados da política do RoPotter-Mesh são relatados apenas para a tigela larga; a comparação da tigela alta abrange o DP3 e o RoPotter-2D.

Impacto na área

Finalista do Humanoids 2024 Best Oral Presentation Award e citado 11 vezes. Os autores disponibilizam materiais suplementares, dados dos experimentos e visualizações em robot-pottery.github.io.

Resumo

Os seres humanos são capazes de manipular continuamente uma grande variedade de objetos deformáveis para dar-lhes formas complexas. Isso é possível graças à nossa compreensão intuitiva das propriedades do material e da mecânica do objeto, que nos permite raciocinar sobre o estado do objeto mesmo quando a percepção visual está ocluída. Essas capacidades nos permitem realizar tarefas diversas, de cozinhar com massa a nos expressarmos por meio da cerâmica. No entanto, desenvolver sistemas robóticos que realizem tarefas semelhantes de forma robusta continua difícil, pois os métodos atuais têm dificuldade em modelar de forma eficaz objetos deformáveis volumétricos e em raciocinar sobre o comportamento complexo que eles geralmente apresentam. Para estudar sistemas e algoritmos robóticos capazes de deformar objetos volumétricos, apresentamos uma nova tarefa robótica de deformar continuamente argila em um torno de oleiro. Propomos um pipeline de percepção e de aprendizado de habilidades de cerâmica, chamado RoPotter, no qual demonstramos que conhecimentos prévios estruturais específicos da tarefa de cerâmica podem ser explorados para simplificar o processo de aprendizado de habilidades de cerâmica. Mais especificamente, podemos projetar a seção transversal da argila em um plano para representar o estado da argila, reduzindo a dimensionalidade. Também demonstramos um método baseado em malhas para recuperar o estado da argila ocluída, visando agentes robóticos capazes de deformar argila continuamente. Nossos experimentos mostram que, usando a representação reduzida com conhecimentos prévios estruturais baseados nos comportamentos de deformação da argila, o RoPotter consegue realizar a tarefa de cerâmica de horizonte longo com erro de forma final 44,4 % menor em comparação com as baselines do estado da arte.

Open Source Robotics