RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

Autores: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

RoboCook modela la interacción entre masa y herramienta con GNN entrenadas con 20 minutos de datos reales por herramienta, elige herramientas con un clasificador PointNet++ y hace dumplings usando 15 herramientas intercambiables.

Por qué importa

El sistema muestra a un brazo de propósito general con un sistema de cambio de herramientas completando una secuencia de nueve pasos para hacer un dumpling y recuperándose cuando una persona deforma, añade o sustituye la masa a mitad de la tarea. Como la política necesita una sola pasada hacia adelante por acción, la planificación tarda segundos en lugar de los minutos que necesitan los planificadores basados en optimización con el mismo modelo aprendido.

Problema

Las tareas de cuerpos blandos de horizonte largo, como hacer un dumpling, requieren una elección discreta de qué herramienta usar y una elección continua de cómo moverla, mientras la masa elastoplástica se deforma de formas difíciles de modelar. Los métodos anteriores de dinámica aprendida abordaban tareas de horizonte corto con una sola herramienta, y los simuladores de objetos elastoplásticos muestran una brecha sim-to-real notable.

Solución propuesta

Cuatro cámaras RGB-D dan una nube de puntos fusionada a partir de la cual la masa se reconstruye como una malla estanca y se remuestrea en 300 partículas de superficie, concatenadas con partículas sobre la malla de la herramienta. Una GNN entrenada con unos 20 minutos de datos de exploración aleatoria por herramienta predice cómo se deforma la masa; un clasificador PointNet++ propone las tres herramientas más probables para el siguiente subobjetivo; y una política PointNet++, entrenada con datos sintéticos generados por la GNN, produce los parámetros de acción para sujetar, presionar y extender con rodillo, mientras que las demás herramientas usan planificadores programados a mano. El bucle se cierra con realimentación visual tras cada acción.

Ideas clave

• Entrenar la GNN para predecir solo dos pasos por delante bastó para obtener predicciones precisas de 15 pasos en inferencia.
• Una política entrenada fuera de línea con rollouts sintéticos de la GNN cubre todo el espacio de acciones y superó a los planificadores en línea (descenso de gradiente, CEM y RL) que usaban las mismas GNN y el mismo clasificador de herramientas.
• Los espacios de acciones por herramienta de dos a cuatro parámetros, derivados del espacio del efector final de 6 DoF eliminando grados de libertad redundantes, mantienen la planificación tratable.
• Un modelo dinámico entrenado solo con masa de harina, agua y sal dio forma a una letra K en Play-Doh, arcilla de secado al aire y espuma de modelar sin reentrenamiento.
• Un clasificador de herramientas basado en PointNet generalizó mejor que uno basado en ResNet, lo que los autores atribuyen a su capacidad para codificar la profundidad.

Resultados principales

• Formación de letras (R, O, B, C, K): 100 sujetos humanos reconocieron las letras de RoboCook con una precisión de 0,90 ± 0,11, frente a 0,54 (RoboCraft), 0,52 (CEM+GNN), 0,48 (CEM+MPM) y 0,17 (RL+GNN).
• Métricas de nube de puntos: distancia de Chamfer de 0,0062 ± 0,0007 y Earth Mover's distance de 0,0042 ± 0,0006, las más bajas de los cinco métodos.
• Tiempo de planificación de 9,3 ± 1,5 s frente a 613,7 s (RoboCraft), 756,0 s (CEM+GNN), 1486,7 s (CEM+MPM) y 1867,9 s (RL+GNN); el pipeline completo del dumpling requiere unos 10 s de planificación.
• El clasificador de herramientas alcanzó una precisión por instancia de 0,996 en una partición de prueba de sus datos de entrenamiento.
• Cinco sujetos humanos que usaron las mismas herramientas lo hicieron notablemente peor que RoboCook cuando elegían ellos mismos las herramientas, y de forma comparable o peor cuando se les daba la secuencia de herramientas y los subobjetivos.

Limitaciones

• Según los autores: la masa a veces se pega a la herramienta, y haría falta un sistema automático de corrección de errores.
• Según los autores: el sistema depende de conocimiento previo humano para el espacio de acciones de cada herramienta.
• Según los autores: los subobjetivos los definen humanos; para eliminarlos harían falta una abstracción temporal de más alto nivel y planificación a nivel de tarea.
• Según los autores: los cables y la tela necesitarían una estimación adicional de la topología.
• La dinámica y las políticas aprendidas solo cubren pinzas, rodillos, prensas y troqueles; el cuchillo, el cortador, el empujador y las espátulas usan planificadores programados a mano, y la acción del gancho está preprogramada.

Impacto en el campo

Ganador del CoRL 2023 Best Systems Paper Award; citado 137 veces (cifra tal como se indica). La página oficial del proyecto enlaza el repositorio de código de RoboCook y una carpeta de datos.

Resumen

Los humanos destacan en tareas complejas de manipulación de cuerpos blandos de horizonte largo gracias al uso flexible de herramientas: hacer pan requiere un cuchillo para cortar la masa y un rodillo para aplanarla. A menudo considerado un rasgo distintivo de la cognición humana, el uso de herramientas en robots autónomos sigue siendo limitado debido a las dificultades para comprender las interacciones entre herramienta y objeto. Aquí desarrollamos un sistema robótico inteligente, RoboCook, que percibe, modela y manipula objetos elastoplásticos con diversas herramientas. RoboCook usa representaciones de la escena basadas en nubes de puntos, modela las interacciones entre herramienta y objeto con redes neuronales de grafos (Graph Neural Networks, GNN) y combina la clasificación de herramientas con el aprendizaje autosupervisado de políticas para elaborar planes de manipulación. Demostramos que, con solo 20 minutos de datos de interacción en el mundo real por herramienta, un brazo robótico de propósito general puede aprender tareas complejas de manipulación de objetos blandos de horizonte largo, como hacer dumplings y galletas con forma de letras del alfabeto. Evaluaciones exhaustivas muestran que RoboCook supera sustancialmente a los enfoques del estado del arte, es robusto frente a perturbaciones externas severas y demuestra adaptabilidad a distintos materiales.

Enlaces

• arXiv 2306.14447: https://arxiv.org/abs/2306.14447
• DOI 10.48550/arXiv.2306.14447: https://doi.org/10.48550/arXiv.2306.14447
• PDF: https://proceedings.mlr.press/v229/shi23a/shi23a.pdf
• Código: https://github.com/hshi74/robocook
• Página del proyecto: https://hshi74.github.io/robocook