RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

Autores: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

RoPotter enseña a un robot a dar forma a la arcilla en un torno de alfarero para obtener dos tipos de cuenco a partir de 40 demostraciones cada uno, usando una sección transversal 2D de la arcilla y una recuperación basada en mallas de los puntos ocultos.

Por qué importa

Define una tarea de horizonte largo para la manipulación continua de objetos deformables volumétricos usando un simple dedo rígido sin grados de libertad, y muestra que conocimientos previos baratos sobre la tarea (simetría y rigidez local) pueden sustituir a los modelos dinámicos aprendidos. Su evaluación, que compara los cuencos producidos con los demostrados mediante la distancia de Chamfer y la similitud CLIP, es un enfoque viable para tareas sin una etiqueta de éxito clara.

Problema

Los objetos deformables volumétricos como la arcilla son difíciles de modelar: los modelos dinámicos aprendidos necesitan muchas muestras y se enfrentan a una gran brecha sim-to-real en el contacto, por lo que los trabajos anteriores con arcilla usaban acciones discretas y específicas de la tarea con una vista clara del objeto entre ellas. En un torno de alfarero, la arcilla se deforma de forma continua bajo el contacto y queda parcialmente oculta por el dedo del robot, así que ninguno de los dos enfoques encaja.

Solución propuesta

RoPotter usa conocimientos previos estructurales de la tarea de alfarería. Como el torno hace que la arcilla tenga simetría radial, RoPotter-2D representa la arcilla mediante una sección transversal de puntos situados a menos de 5 mm de un plano que pasa por su centro de masas, mientras que RoPotter-Mesh ajusta una malla a la sección transversal inicial, empuja los vértices fuera del dedo, mueve los vértices visibles a los puntos observados y aplica una deformación As-Rigid-As-Possible (ARAP) para estimar la arcilla oculta. Una política de difusión basada en 3D Diffusion Policy (DP3), con una variante de codificador 2D, se entrena sobre estos estados a partir de demostraciones teleoperadas.

Ideas clave

• La simetría radial sobre el torno permite reducir el estado 3D de la arcilla a una sección transversal 2D que aun así captura el diámetro, la altura y el grosor de la pared.
• Tratar el contacto del dedo e imponer rigidez local con ARAP recupera la arcilla oculta tras el dedo; añadir el paso ARAP redujo la distancia de Chamfer un 66,3 %.
• Como el diámetro de apertura depende de la masa de arcilla, la política debe adaptar la fase de levantamiento de la pared al estado observado; la referencia DP3 fue la que menos se adaptó, y hacía cuencos demasiado altos con más arcilla y demasiado bajos con menos.
• Los propios cuencos demostrados varían unos 2,0 mm, lo que acota cuánto puede acercarse a ellos cualquier política en distancia de Chamfer.

Resultados principales

• RoPotter-Mesh produjo un error de forma final un 44,4 % menor que la referencia DP3 en la tarea del cuenco ancho con 250 g de arcilla (distancia de Chamfer de 2,75 mm frente a 4,95 mm).
• Ablación de la reconstrucción de la malla (distancia de Chamfer en la sección transversal / en la nube de puntos completa): método completo 1,50 / 2,58 mm; sin ARAP 4,45 / 7,74 mm; sin tratamiento del contacto 15,41 / 17,01 mm; referencia observada 0,0 / 2,46 mm.
• En todas las tareas con 250 g o 350 g de arcilla, la distribución de la distancia de Chamfer respecto a los cuencos demostrados fue menor para ambas políticas propuestas que para la referencia.
• DP3 fue la mejor solo en el cuenco alto con 350 g (1,96 mm), donde RoPotter-2D también se mantuvo por debajo de 2,0 mm (1,99 mm); DP3 falló un ensayo del cuenco alto con 300 g.
• La similitud CLIP con los cuencos demostrados osciló entre 0,940 y 0,974 entre los métodos y coincidió con la métrica geométrica.

Limitaciones

• Los autores afirman que RoPotter-Mesh depende de una malla bien inicializada y de acciones del robot coherentes y observadas con precisión, supuestos que se cumplen en su configuración controlada y estructurada, pero no en general.
• Las políticas no están condicionadas por un objetivo; cada forma de cuenco se aprende a partir de sus propias demostraciones, y definir una representación útil del objetivo queda para trabajos futuros.
• La tarea no tiene un criterio de éxito claro, y los autores señalan que la distancia de Chamfer está sesgada por los puntos atípicos y promedia los rasgos de alta frecuencia.
• El método supone simetría radial y arcilla cuasiestática, e ignora los efectos dinámicos.
• Los resultados de la política de RoPotter-Mesh solo se presentan para el cuenco ancho; la comparación del cuenco alto abarca DP3 y RoPotter-2D.

Impacto en el campo

Finalista del Humanoids 2024 Best Oral Presentation Award y citado 11 veces. Los autores ponen a disposición materiales complementarios, datos de los experimentos y visualizaciones en robot-pottery.github.io.

Resumen

Los seres humanos son capaces de manipular de forma continua una gran variedad de objetos deformables para darles formas complejas. Esto es posible gracias a nuestra comprensión intuitiva de las propiedades del material y de la mecánica del objeto, que nos permite razonar sobre el estado del objeto incluso cuando la percepción visual está ocluida. Estas capacidades nos permiten realizar tareas diversas, desde cocinar con masa hasta expresarnos mediante la alfarería. Sin embargo, desarrollar sistemas robóticos que realicen de forma robusta tareas similares sigue siendo difícil, ya que los métodos actuales tienen dificultades para modelar eficazmente objetos deformables volumétricos y razonar sobre el comportamiento complejo que suelen presentar. Para estudiar los sistemas y algoritmos robóticos capaces de deformar objetos volumétricos, presentamos una nueva tarea robótica que consiste en deformar de forma continua arcilla en un torno de alfarero. Proponemos un pipeline de percepción y de aprendizaje de habilidades de alfarería, llamado RoPotter, en el que demostramos que los conocimientos previos estructurales específicos de la tarea de la alfarería pueden aprovecharse para simplificar el proceso de aprendizaje de habilidades de alfarería. En concreto, podemos proyectar la sección transversal de la arcilla sobre un plano para representar el estado de la arcilla, reduciendo la dimensionalidad. También demostramos un método basado en mallas para recuperar el estado de la arcilla ocluida, con vistas a agentes robóticos capaces de deformar arcilla de forma continua. Nuestros experimentos muestran que, usando la representación reducida con conocimientos previos estructurales basados en los comportamientos de deformación de la arcilla, RoPotter puede realizar la tarea de alfarería de horizonte largo con un error de forma final un 44,4 % menor en comparación con los métodos de referencia del estado del arte.

Enlaces

• arXiv 2408.02184: https://arxiv.org/abs/2408.02184
• DOI 10.1109/Humanoids58906.2024.10769600: https://doi.org/10.1109/Humanoids58906.2024.10769600
• PDF: https://arxiv.org/pdf/2408.02184v1
• Página del proyecto: https://robot-pottery.github.io/