MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback

Autores: Andrea Sipos, Nima Fazeli · RSS 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Dos brazos golpean varias veces entre sí los objetos que sujetan; filtros de partículas puntuados según el contacto, la fuerza y la consistencia entre acciones recuperan ambas poses en la mano con un error de unos 0,5 cm.

Por qué importa

El método no necesita cámara ni piel táctil de alta resolución, solo la detección articular y la estimación de la llave de fuerzas (wrench) que ya ofrecen cobots como el Franka Emika Panda, o un sensor de fuerza-par de muñeca comercial. Eso permite corregir la pose en la mano en situaciones con oclusiones y con hardware común.

Problema

Los errores en la pose de un objeto agarrado provocan deslizamientos, contactos inesperados y atascos en el uso de herramientas y el ensamblaje. Los estimadores basados en visión fallan con oclusiones, habituales en el ensamblaje fino y en espacios estrechos, y los sensores táctiles de alta resolución son caros, se desgastan con facilidad y son difíciles de modelar. Un solo contacto (como en el método SCOPE anterior de los autores) a menudo deja la pose ambigua.

Solución propuesta

MultiSCOPE extiende SCOPE, que combina un filtro de partículas de contacto (CPFGrasp) con un filtro de partículas de la pose del objeto, de un único contacto a una secuencia de toques entre dos objetos sujetos por dos brazos, usando solo propiocepción y llaves de fuerzas de muñeca de 6 ejes. Añade un paso de segmentación de la herramienta (K-Means sobre las normales de la superficie y después DBSCAN) para que todas las caras reciban partículas de contacto, una pérdida de wrench que favorece las poses cuyos contactos explican la llave de fuerzas medida en la muñeca, y una pérdida de memoria que puntúa las poses frente a una nube de contactos construida a partir de acciones anteriores, con 'memory dropout' cuando una acción anterior resulta inconsistente.

Ideas clave

• Combinar varias acciones de contacto elimina la ambigüedad que deja una sola acción: un toque puede restringir una dirección y un segundo toque otra
• Muestrear partículas de contacto por cara segmentada, en lugar de uniformemente sobre la superficie, evita que se pasen por alto caras pequeñas pero funcionalmente importantes y reduce el número de partículas necesarias
• Exigir que los contactos estimados reproduzcan la llave de fuerzas medida en la muñeca (la pérdida de wrench) fue la pérdida individual más fuerte en la ablación
• El error de calibración entre robots importa: sin calibración, los autores observaron un error RMS de 1 a 1,5 cm entre los dos brazos, reducido a 3-7 mm con una rutina basada en ICP

Resultados principales

• Simulación, herramienta llave inglesa, 10 ensayos con 5 acciones: error de pose de la herramienta de 0,47 ± 0,27 cm y −0,76 ± 2,01°, error de pose de la sonda de 0,49 ± 0,28 cm y −2,67 ± 4,76°; 8 de 10 tareas de llave sobre tornillo con tolerancia ajustada tuvieron éxito
• La ejecución de ablación de pérdidas del método completo (Tabla I, 5 ensayos) reporta un error de la herramienta de 0,48 ± 0,16 cm y un 100 % de éxito en la tarea, mientras que la ejecución de 10 ensayos (texto y Tabla II) reporta 0,47 ± 0,27 cm y un 80 %; son conjuntos de ensayos distintos
• Las acciones individuales por sí solas promediaron 1,08 cm de error de traslación de la herramienta y un 40 % de éxito en la tarea, frente a 0,47 cm y un 80 % del método completo con múltiples acciones (Tabla II)
• Con ruido de fuerza-par del 5 % de la magnitud de la señal: error de la herramienta de 0,52 ± 0,31 cm y 4 de 5 tareas completadas; con un 8 % de ruido ninguna tarea tuvo éxito (error de la herramienta de 1,13 ± 0,33 cm)
• Las herramientas llave hexagonal, trinquete y engranaje en simulación dieron errores de traslación de la herramienta de 0,31, 0,33 y 0,49 cm (10 ensayos cada una)
• Hardware real, herramienta llave inglesa, 4 acciones: 5 de 5 ensayos de la tarea tuvieron éxito (tolerancia de 3,5 mm por lado usando un cilindro como objetivo)

Limitaciones

• Los autores señalan la selección de acciones como trabajo futuro: los toques se eligieron a mano, y se necesita una selección más fundamentada para reducir el número de acciones
• El método supone objetos rígidos con modelos geométricos conocidos, contactos puntuales que no transmiten momento y ausencia de deslizamiento relativo durante los toques
• El ruido de propiocepción no se modela; los autores encontraron difícil calibrar los dos brazos reales entre sí (3-7 mm RMS tras la calibración)
• La precisión se degrada con el ruido de fuerza-par: con un 8 % de ruido ninguna demostración basada en tareas tuvo éxito
• Las poses se estiman en SE(2) porque las pinzas de mordazas paralelas las restringen, y la prueba en el mundo real usó una sola herramienta y un cilindro en lugar de la cabeza de un tornillo

Impacto en el campo

Finalista del RSS 2023 Best Student Paper Award, con 14 citas. El artículo remite a www.mmintlab.com/multiscope/ para el código y los vídeos; esa página enlaza el repositorio de código.

Resumen

En este artículo proponemos un método para estimar la pose de objetos en la mano usando propiocepción y realimentación táctil de un sistema robótico bimanual. Nuestro método aborda el problema de reducir la incertidumbre de la pose mediante una secuencia de interacciones de contacto con fricción entre los objetos agarrados. Como parte de nuestro método, proponemos 1) una rutina de segmentación de herramientas que facilita la estimación de la ubicación del contacto y de la pose del objeto, 2) una pérdida que permite razonar sobre la consistencia de la solución entre interacciones, y 3) una pérdida que favorece la convergencia hacia poses del objeto y ubicaciones de contacto que expliquen la fuerza-par externa que experimenta cada brazo. Demostramos la eficacia de nuestro método en una demostración basada en tareas, tanto en simulación como en una plataforma bimanual real, y mostramos una mejora significativa en la estimación de la pose del objeto frente a interacciones individuales. Visite www.mmintlab.com/multiscope/ para ver el código y los vídeos.

Enlaces

• arXiv 2305.14204: https://arxiv.org/abs/2305.14204
• DOI 10.48550/arXiv.2305.14204: https://doi.org/10.48550/arXiv.2305.14204
• PDF: https://arxiv.org/pdf/2305.14204v1
• Código: https://github.com/MMintLab/multiscope
• Página del proyecto: https://www.mmintlab.com/multiscope/