kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation

Autores: Wei Gao, Russ Tedrake · ICRA 2021

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Puntos clave 3D orientados sirven como estado y acción de un controlador en lazo cerrado, de modo que una sola política resuelve la inserción de clavija en orificio con 0,2 mm, LEGO, USB y limpieza pese a la variación de forma.

Por qué importa

Como el estado y la acción solo se refieren a la parte del objeto relevante para la tarea, el mismo controlador funciona con distintas instancias de objetos, poses de agarre y configuraciones iniciales sin ajustes por instancia. El marco solo fija las interfaces, por lo que pueden conectarse otros módulos de percepción y agentes basados en modelos o aprendidos.

Problema

Los pipelines de manipulación en lazo cerrado suelen construir la realimentación sobre un estimador de pose 6-DOF en tiempo real, pero una pose definida sobre una plantilla geométrica fija no captura una gran variación de forma dentro de una categoría. El método original de puntos clave kPAM maneja pick-and-place a nivel de categoría, pero supone que se puede aplicar al objeto una transformación rígida arbitraria, lo que no se cumple en tareas ricas en contacto como la inserción de clavija en orificio.

Solución propuesta

A los puntos clave se les da un sistema de referencia de orientación local, y la acción del robot se expresa como la velocidad lineal/angular o la fuerza/par deseadas de un punto clave orientado, traducidas a comandos articulares mediante la jacobiana del punto clave. Las lecturas de fuerza/par se transforman al punto clave como un sensor virtual, las entradas y salidas se reexpresan en un sistema de referencia nominal para adaptarse a nuevas colocaciones, y un paso de pick-and-place de kPAM, simplificado por los puntos clave orientados, lleva el objeto a la configuración inicial.

Ideas clave

Un punto clave orientado, local y específico de la tarea ignora la geometría irrelevante, como el mango que sujeta el robot, y eso es lo que permite generalizar a nivel de categoría.
Si el objeto es rígido y está sujeto con firmeza, puede tratarse como parte del robot, de modo que los controladores estándar en el espacio articular traducen a las articulaciones los comandos de velocidad o de fuerza del punto clave.
Transformar las lecturas de fuerza/par de la muñeca al sistema de referencia del punto clave las hace independientes de la geometría del objeto y de la pose de agarre.
Un error visual del punto clave de unos 5 mm a 80 cm supera con creces una holgura de 0,2 mm, por lo que se necesita corrección en lazo cerrado con puntos clave y fuerza/par; la reproducción en lazo abierto falla.
Añadir orientación a los puntos clave de kPAM elimina en muchos casos la necesidad de resolver una optimización de coste/restricciones para el objetivo de pick-and-place.

Resultados principales

Tasas de fallo, método frente a línea base en lazo abierto: limpieza de pizarra 1/25 (4 %) frente a 16/20 (80 %); clavija-orificio impresos en 3D con 0,2 mm de holgura 12/45 (26 %) frente a 19/20 (95 %).
Bloques LEGO 2/25 (8 %) frente a 7/20 (35 %); puerto USB 9/20 (45 %) frente a 20/20 (100 %).
Una línea base de pose 6-DOF (inicialización por puntos clave más ICP a una plantilla) falló 10/25 (40 %) en limpieza, 25/45 (55 %) en clavija-orificio impresos, 9/25 (36 %) en LEGO y 17/20 (85 %) en USB, y algunos ensayos necesitaron una parada de seguridad.
La limpieza reguló una fuerza normal nominal de 10 N; un ensayo contaba como fallido si el punto clave delantero del borrador se desviaba más de 2 cm del borde de la pizarra o la fuerza caía por debajo de 5 N.
En USB, un error de unos 3 mm en el lado corto causa el fallo; un esquema en dos pasos, primero grueso y luego cercano, con la cámara de muñeca redujo el error de percepción a 2 mm.
Un agente aprendido imitando los ensayos exitosos funcionó en las tres categorías de clavija-orificio, pero no superó al controlador escrito a mano, al que casi reprodujo.

Limitaciones

Los puntos clave dispersos no pueden con tareas que necesitan geometría densa, por ejemplo reconocer que una clavija es más grande que su orificio, ni con la planificación de trayectorias libres de colisiones (según los autores).
Se supone que el objeto está estático respecto a la pinza, lo que restringe las fuerzas aplicadas a las equilibradas dentro de los conos de fricción estática; la cámara montada en la muñeca no puede detectar el deslizamiento entre pinza y objeto (según los autores).
Los fallos vinieron de agarres fallidos y de errores de los puntos clave demasiado grandes para que la realimentación los corrigiera, y la memoria USB tuvo que fijarse de antemano a la pinza por su dificultad de agarre (según los autores).
Quien modela debe elegir los puntos clave específicos de cada tarea.
El modelo del robot y la configuración detallada remiten a un apéndice que no forma parte de esta copia arXiv v1.

Impacto en el campo

Fue finalista del IEEE ICRA 2021 Best Paper Award in Robot Manipulation y tiene 91 citas. El artículo indica que su demostración en vídeo y su código fuente están disponibles, y da como enlace https://sites.google.com/view/kpam2/.

Resumen

En este artículo exploramos la manipulación robótica generalizable, de la percepción a la acción, para tareas precisas y ricas en contacto. En concreto, aportamos un marco para la manipulación robótica en lazo cerrado que maneja automáticamente una categoría de objetos, a pesar de instancias de objetos posiblemente no vistas y de variaciones intracategoría significativas en forma, tamaño y apariencia. Los enfoques previos suelen construir un lazo de realimentación sobre un estimador de pose 6-DOF en tiempo real. Sin embargo, representar un objeto con una transformación parametrizada a partir de una plantilla geométrica fija no captura una gran variación de forma intracategoría. Por ello adoptamos la representación de objetos basada en puntos clave propuesta en kPAM [13] para pick-and-place a nivel de categoría, y la extendemos a políticas de manipulación en lazo cerrado con tareas ricas en contacto. Primero añadimos a los puntos clave información de orientación local. Usando los puntos clave orientados, proponemos una nueva representación de acciones centrada en el objeto, en términos de regular la velocidad lineal/angular o la fuerza/par de estos puntos clave orientados. Esta formulación es sorprendentemente versátil: demostramos que puede realizar tareas de manipulación ricas en contacto que requieren precisión y destreza para una categoría de objetos con distintas formas, tamaños y apariencias, como la inserción de clavija en orificio para clavijas y orificios con una variación de forma significativa y una holgura estrecha. Con la representación de objetos y de acciones propuesta, nuestro marco es además agnóstico respecto a la pose de agarre del robot y a la configuración inicial del objeto, lo que lo hace flexible para la integración y el despliegue. La demostración en vídeo y el código fuente están disponibles en este enlace.

Enlaces

arXiv 2102.06279: https://arxiv.org/abs/2102.06279
DOI 10.1109/LRA.2021.3062315: https://doi.org/10.1109/LRA.2021.3062315
PDF: https://arxiv.org/pdf/2102.06279v1
Página del proyecto: https://sites.google.com/view/kpam2/