You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

Autores: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un espacio canónico de formas entrenado solo en simulación traslada un vídeo de demostración a objetos nuevos; la clonación en lazo cerrado con seguimiento alcanza el 100 % al poner pilas de pie y el 82,9 % en la inserción de engranajes con 0,5 mm.

Por qué importa

Una nueva habilidad de ensamblaje se puede enseñar con un vídeo más modelos CAD de las instancias de entrenamiento, sin datos de entrenamiento del mundo real ni anotación de puntos clave, y se traslada a nuevas instancias compradas en tiendas. La comparación con y sin seguimiento muestra cuánto importa la realimentación en lazo cerrado de la pose del objeto en inserciones con tolerancias ajustadas.

Problema

Los métodos de manipulación a nivel de categoría que transfieren una habilidad entre instancias de objetos suelen necesitar puntos clave semánticos especificados a mano y una costosa recopilación de datos en el mundo real, y tratan el objeto agarrado como fijo a la pinza y ejecutan en lazo abierto. Esto falla en tareas de horizonte largo y con mucho contacto, como insertar una pila contra un muelle, donde importa la secuencia de acciones intermedia y el objeto se mueve en la mano.

Solución propuesta

Una NUNOCS Net (una red similar a PointNet) entrenada solo con datos sintéticos de Blender proyecta una nube de puntos parcial en un espacio canónico a nivel de categoría con escala 3D no uniforme, lo que da una correspondencia densa entre el objeto demostrado y uno nuevo. Un único vídeo de demostración RGBD se procesa con el rastreador 6 DoF sin modelo BundleTrack para obtener una trayectoria de pose del objeto respecto al receptáculo, se reproyecta sobre el nuevo objeto y se ejecuta como un movimiento sin colisiones con RRT* hasta una pose clave a 5 cm del receptáculo, seguido de clonación de comportamiento a nivel de categoría (CatBC). CatBC sigue la trayectoria objetivo con actualizaciones articulares basadas en el jacobiano y realimentación del rastreador a 10 Hz, anclada a un sistema de coordenadas elegido por un mecanismo de atención local.

Ideas clave

Expresar la demostración como la trayectoria de pose del objeto respecto al receptáculo separa la habilidad del demostrador (mano humana o robot teleoperado) y de la disposición de la escena.
El seguimiento en lazo cerrado del objeto en la mano importa sobre todo en tareas con mucho contacto: el éxito subió de 37,78 % a 82,22 % en el montaje de pilas y de 42,9 % a 100 % en la inserción de engranajes con la tolerancia más holgada al activar el seguimiento.
La correspondencia 3D densa a partir de un espacio canónico entrenado en simulación fue más precisa que los descriptores densos 2D (DON) o los puntos clave semánticos (KPAM, KPAM 2.0) entrenados con datos reales; incluso sin seguimiento superó a todas las líneas base.
Dividir la ejecución en transporte sin colisiones y clonación de la última pulgada permite al robot manejar obstáculos no vistos en la demostración y reproducir solo la parte del vídeo que decide el éxito.
Se pueden enseñar estrategias distintas volviendo a demostrar: una demostración de anclar y pivotar dio un mayor éxito en la inserción de engranajes que la inserción simple desde arriba.

Resultados principales

Poner pilas de pie (9 pilas de prueba, 5 intentos cada una): 100 % para el método completo, 80,0 % sin seguimiento y como máximo 60,0 % para las líneas base (KPAM 2.0 con clonación basada en la demostración).
Montaje de pilas contra un muelle: 82,22 % para el método completo, 37,78 % sin seguimiento, como máximo 24,44 % para las líneas base y 0 % para KPAM, KPAM 2.0 y DON sin clonación.
Inserción de engranajes (7 engranajes de prueba): 100 % con 5 mm de tolerancia (3 mm para un engranaje), 82,9 % con 0,5 mm y 28,6 % con 0,1 mm; la mejor línea base alcanzó 31,4 % con 5 mm, las seis líneas base obtuvieron 0 % con 0,5 mm y la variante sin seguimiento obtuvo 5,7 % con 0,5 mm.
Se realizaron 1.560 ensayos en el mundo real entre el método y 7 líneas base; el rastreador funciona a la frecuencia de la cámara de 10 Hz.
La NUNOCS Net usó 100.000 datos sintéticos por categoría, mientras que las líneas base KPAM y KPAM 2.0 se entrenaron con entre 90.000 y 98.340 datos del mundo real por categoría con anotaciones de puntos clave.

Limitaciones

La visión es la única modalidad sensorial; los autores esperan que la detección de fuerza o táctil mejore la precisión en tareas de alta precisión.
Solo se manejan objetos rígidos; los objetos articulados o deformables como los cables necesitan otras representaciones a nivel de categoría.
Modos de fallo señalados: en el montaje de pilas la fuerza del muelle puede expulsar la pila de la pinza, y en la inserción de engranajes con anclar y pivotar el engranaje puede girar en la mano hasta que no exista ninguna solución de cinemática inversa sin colisiones.
Con una tolerancia engranaje-eje de 0,1 mm el éxito cae al 28,6 %.
El método supone un agarre que no obstaculiza la tarea (la planificación del agarre queda fuera de su alcance), y los receptáculos se construyen con primitivas geométricas y se localizan con RANSAC.

Impacto en el campo

Finalista del RSS 2022 Best Paper Award, y citado 145 veces. El artículo no indica que publique código ni datos propios.

Resumen

Recientemente se han logrado resultados prometedores en la manipulación a nivel de categoría que generaliza entre instancias de objetos. Sin embargo, a menudo requiere una costosa recopilación de datos en el mundo real y la especificación manual de puntos clave semánticos para cada categoría de objeto y cada tarea. Además, las predicciones toscas de puntos clave y el hecho de ignorar las secuencias de acciones intermedias dificultan su adopción en tareas de manipulación complejas más allá del pick-and-place. Este trabajo propone un nuevo marco de manipulación a nivel de categoría que aprovecha una representación centrada en el objeto y a nivel de categoría y un seguimiento de movimiento 6 DoF sin modelo. La representación canónica del objeto se aprende únicamente en simulación y luego se usa para extraer una trayectoria de la tarea a nivel de categoría a partir de un único vídeo de demostración. La demostración se reproyecta en una trayectoria objetivo adaptada a un objeto nuevo mediante la representación canónica. Durante la ejecución, el horizonte de manipulación se descompone en un movimiento de largo alcance sin colisiones y una manipulación de la última pulgada. Para esta última parte, un método de clonación de comportamiento a nivel de categoría (CatBC) aprovecha el seguimiento de movimiento para realizar control en lazo cerrado. CatBC sigue la trayectoria objetivo, proyectada desde la demostración y anclada a un sistema de coordenadas a nivel de categoría seleccionado dinámicamente. El sistema de coordenadas se selecciona automáticamente a lo largo del horizonte de manipulación mediante un mecanismo de atención local. Este marco permite enseñar distintas estrategias de manipulación proporcionando únicamente una sola demostración, sin una programación manual complicada. Experimentos extensos demuestran su eficacia en una serie de tareas industriales exigentes de ensamblaje de alta precisión, que implican aprender políticas complejas de horizonte largo. El proceso muestra robustez frente a la incertidumbre debida a la dinámica, así como generalización entre instancias de objetos y configuraciones de escena.

Enlaces

arXiv 2201.12716: https://arxiv.org/abs/2201.12716
DOI 10.48550/arXiv.2201.12716: https://doi.org/10.48550/arXiv.2201.12716
PDF: https://arxiv.org/pdf/2201.12716v1