FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding

Autores: Huy Ha, Shuran Song · CoRL 2021

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un robot de dos brazos aprende, de forma autosupervisada, dónde agarrar una tela arrugada para un movimiento fijo de agarrar, estirar y sacudir, y supera a pick & place cuasiestático en cobertura y número de pasos.

Por qué importa

El artículo muestra que una sola primitiva aprendida de alta velocidad puede desplegar una tela en pocas acciones, manejar telas más grandes que el alcance y transferirse de rectángulos a camisetas. El sistema real detecta que la tela está estirada con una segunda cámara RGB-D en lugar de sensores de fuerza, y la señal de entrenamiento procede de una máscara de una cámara cenital, lo que mantiene simple el hardware.

Problema

La mayoría de los sistemas para desplegar telas usan acciones cuasiestáticas con un solo brazo, como pick & place, que necesitan muchas interacciones con telas muy arrugadas y no pueden manejar telas más grandes que el alcance del brazo. Los métodos heurísticos basados en esquinas, bordes o arrugas fallan cuando esos puntos clave están ocluidos, no son visibles o no existen en telas no cuadradas.

Solución propuesta

FlingBot fija una primitiva de movimiento de dos brazos (agarre de pinza cenital en dos puntos, elevación a 0,30 m y estiramiento hasta tensar, sacudida hacia delante de 0,70 m a 1,4 m/s, retroceso de 0,50 m, colocación) y aprende solo dónde agarrar, parametrizado por un píxel central, un ángulo y una anchura para que las restricciones de orden de los brazos y de anchura del agarre sigan siendo lineales e independientes. Una red de valor predice la cobertura delta por píxel sobre una imagen cenital en 12 rotaciones y 8 escalas (mapas de acción espaciales); se entrena de forma autosupervisada en un simulador propio basado en PyFleX y luego se ajusta en dos brazos UR5 reales.

Ideas clave

• Fijar el movimiento de estirar y sacudir reduce el aprendizaje a elegir dos puntos de agarre; aprender además la velocidad de la sacudida (FlingBot-S) no aportó ninguna mejora significativa.
• Parametrizar el agarre de dos brazos por centro, ángulo en [−90°, 90°] y anchura hace que las restricciones de izquierda-derecha y de distancia entre brazos sean lineales e independientes.
• Usar la equivarianza a traslación, rotación y escala mediante mapas de acción espaciales es esencial: la regresión directa de los parámetros de agarre (Fling-Reg) alcanzó solo +0,3 % de cobertura delta en rectángulos normales.
• Mediante ensayo y error la política aprendió a agarrar esquinas y bordes visibles, o a sacudir para dejarlos a la vista, una estrategia que los métodos heurísticos anteriores diseñaban a mano.
• Sacudir amplía el alcance efectivo, de modo que telas más grandes que el alcance de los brazos se pueden seguir desplegando.

Resultados principales

• Simulación, rectángulos normales (cobertura final / delta): FlingBot 91,9 % / +63,1 % frente a Pick&Place 53,0 / +24,2, Pick&Drag 58,0 / +29,2 y Stretch&Drag 77,2 / +48,4.
• Más del 80 % de cobertura en 3 acciones con telas rectangulares normales nuevas en simulación.
• Rectángulos grandes, más allá del alcance: 79,2 % de cobertura final y +52,0 % de cobertura delta, aproximadamente el doble que las líneas base cuasiestáticas (+24,8 %, +27,1 %, +23,1 %).
• Camisetas, no vistas en el entrenamiento: 93,3 % de cobertura final / +46,8 % de cobertura delta en simulación.
• Sistema real con dos UR5, 10 episodios de prueba por tipo de tela: cobertura final de 81,9 %, 88,5 % y 89,2 % en rectángulo normal, rectángulo grande y camiseta, frente a 43,2 %, 38,4 % y 42,7 % de Pick&Place; el ajuste fino elevó la cobertura en tela normal de 69,8 % a 81,9 %.
• Tiempo mediano por primitiva de sacudida de 16,7 s frente a 8,8 s para pick & place, más sobrecargas de 2,5 s y 2,9 s para ambos.

Limitaciones

• Hace falta trabajo futuro para tareas de tela más complejas y condicionadas por objetivo, como el plegado, que los autores proponen abordar combinando acciones dinámicas y cuasiestáticas con estimación de la pose de la tela.
• Los experimentos usan un espacio de trabajo negro liso y telas de color sin textura para facilitar el enmascarado; texturas arbitrarias requerirían añadir segmentación o sustracción de fondo.
• Los resultados reales se promedian sobre 10 episodios de prueba por tipo de tela, filtrando los errores de agarre del mundo real.
• Una sacudida tarda más que un pick & place (mediana de 16,7 s frente a 8,8 s), aunque necesita menos acciones.
• El montaje real dependía de una alfombrilla de goma de 2 pulgadas y de fundas de goma en los dedos de la pinza para ayudar a los agarres de pinza, y el entrenamiento hasta la convergencia llevó unos 6 días en una GTX 1080 Ti.

Impacto en el campo

Ganador del CoRL 2021 Best System Paper Award, con 229 citas según la cifra indicada. Los autores publican el código, el entorno de simulación, los datos y vídeos de los experimentos a través de la página del proyecto, incluido un simulador propio sobre PyFleX que carga mallas de tela arbitrarias.

Resumen

Las acciones dinámicas de alta velocidad (p. ej., sacudir o lanzar) desempeñan un papel crucial en nuestra interacción cotidiana con objetos deformables, al mejorar nuestra eficiencia y ampliar de forma efectiva nuestro alcance físico. Sin embargo, la mayoría de los trabajos previos han abordado la manipulación de telas usando exclusivamente acciones cuasiestáticas con un solo brazo, lo que requiere un gran número de interacciones en configuraciones iniciales difíciles de la tela y limita estrictamente el tamaño máximo de la tela al alcance del robot. En este trabajo demostramos la eficacia de las acciones dinámicas de sacudida para desplegar telas con nuestro marco de aprendizaje autosupervisado propuesto, FlingBot. Nuestro enfoque aprende a desplegar una pieza de tela desde configuraciones iniciales arbitrarias usando una primitiva de agarrar, estirar y sacudir para un sistema de dos brazos a partir de observaciones visuales. El sistema final logra más del 80 % de cobertura en 3 acciones con telas nuevas, puede desplegar telas más grandes que el alcance del sistema y generaliza a camisetas pese a haberse entrenado solo con telas rectangulares. También hicimos un ajuste fino de FlingBot en una plataforma robótica real de dos brazos, donde aumentó la cobertura de la tela más de 4 veces más que la línea base cuasiestática. La simplicidad de FlingBot, combinada con su rendimiento superior frente a las líneas base cuasiestáticas, demuestra la eficacia de las acciones dinámicas para la manipulación de objetos deformables.

Enlaces

• arXiv 2105.03655: https://arxiv.org/abs/2105.03655
• DOI 10.48550/arXiv.2105.03655: https://doi.org/10.48550/arXiv.2105.03655
• PDF: https://proceedings.mlr.press/v164/ha22a/ha22a.pdf
• Código: https://github.com/columbia-ai-robotics/flingbot
• Página del proyecto: https://flingbot.cs.columbia.edu/