Reactive Human-To-Robot Handovers of Arbitrary Objects

Autores: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Segmentar la mano y agarrar lo que queda: un sistema basado en visión permite a un Franka Panda tomar 26 objetos domésticos distintos de manos de personas y replanificar cuando el objeto se mueve.

Por qué importa

El objeto no tiene que pertenecer a las categorías de un detector preentrenado, que los autores señalan como el principal cuello de botella del trabajo previo más cercano. El lazo cerrado permite al robot seguir un objeto que la persona gira después de que el robot haya empezado a moverse, la causa de la mayoría de los fallos registrados en ese trabajo previo.

Problema

Los robots asistenciales deben tomar muchos tipos de objetos de las personas, pero la mayoría de los estudios sobre entregas usaron un único objeto y solo uno de los artículos revisados usó más de seis. Tomar un objeto de una mano difiere de agarrar un objeto estático: el objeto puede moverse, queda parcialmente oculto por los dedos, limita las direcciones de aproximación, y el movimiento del robot debe percibirse como seguro.

Solución propuesta

El sistema recorta la nube de puntos alrededor de la mano rastreada con el Azure Kinect Body Tracking SDK, segmenta la mano en la imagen RGB con una Feature Pyramid Network sobre ResNet-50 entrenada con máscaras generadas automáticamente y etiqueta los puntos restantes como el objeto. 6-DOF GraspNet propone agarres que se refinan de un fotograma al siguiente mediante muestreo de Metropolis-Hastings con su evaluador de agarres, se eliminan los agarres que colisionan con la mano, y un modelo de tareas Robust Logical Dynamical Systems con Riemannian Motion Policies elige y ejecuta las poses de aproximación.

Ideas clave

• Segmentar la mano, una tarea bien definida, y etiquetar como objeto los puntos recortados restantes evita tener que segmentar directamente objetos no vistos.
• Las máscaras de entrenamiento para la mano pueden producirse sin anotadores humanos recortando la mano desnuda rastreada de la nube de puntos y proyectándola en la imagen.
• Refinar los agarres del fotograma anterior con el evaluador de agarres mantiene los agarres coherentes en el tiempo sin reentrenar GraspNet; los agarres se vuelven a muestrear cuando sobreviven muy pocos a un movimiento rápido de la mano.
• Puntuar las poses de aproximación por la distancia al mejor agarre anterior y a la pose de reposo mantiene el movimiento suave mientras se sigue a la persona.
• Girar cada agarre 180° alrededor de su eje Z duplica el conjunto de candidatos para una pinza de dos dedos.

Resultados principales

• El modelo de segmentación de la mano alcanza un 99,7 % de exactitud por píxel, un 99,5 % de IoU ponderada por frecuencia y un 68,0 % de IoU media en un conjunto de validación recogido de la misma manera.
• Prueba sistemática con un plátano, un bote de mayonesa de juguete y una caja de cereales de juguete sostenidos en horizontal, a 45° y a 90°: en conjunto 11,39 ± 4,29 s por entrega y un 90 % de éxito; plátano 100 %, bote 90 %, caja de cereales 82 %.
• Objeto girado después de que el robot empiece a moverse: 0–45° dio un 100 % de éxito en 11,81 ± 3,93 s; 0–90° dio un 69 % en 15,41 ± 7,39 s.
• Estudio con 6 participantes que entregan 10 objetos: tiempo medio de aproximación 10,7 ± 3,6 s, 1,3 ± 0,3 intentos y tasa de éxito del 81,8 %; el bolígrafo (50,0 %), la taza (54,5 %) y la cuchara (66,7 %) fueron los más bajos.
• El texto (secciones V-A, V-B y VI-B) dice que todos los objetos se tomaron al final, en tres intentos o menos en la prueba sistemática, mientras que las tablas I y II indican tasas de éxito inferiores al 100 % para varios objetos.
• Las valoraciones del cuestionario fueron de alrededor de 4 o más en todas las dimensiones, con poca varianza entre participantes.

Limitaciones

• Los fallos se debieron a la falta de profundidad en superficies oscuras, a que la red de segmentación etiquetaba el objeto como mano y al ruido en la nube de puntos recortada causado por objetos cercanos (según los autores).
• El coste de la cinemática inversa limita la rapidez con la que el robot puede actualizar su agarre objetivo; los participantes pidieron un movimiento más rápido y fluido (según los autores).
• El estudio con usuarios tuvo seis participantes, todos reclutados en el laboratorio debido a los protocolos de seguridad por la pandemia (según los autores).
• La persona debe sostener el objeto de forma que el robot pueda agarrarlo.
• La evaluación sistemática usó un usuario y tres objetos, con entregas repetidas hasta que el robot lo lograra tres veces.

Impacto en el campo

Ganó el IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) y tiene 99 citas. El artículo enlaza una página del proyecto con más resultados y vídeos; no indica la publicación de código ni de un conjunto de datos.

Resumen

La entrega de objetos entre humanos y robots ha sido un área de la robótica estudiada activamente durante la última década; sin embargo, muy pocas técnicas y sistemas han abordado el reto de entregar objetos diversos de apariencia, tamaño, forma y rigidez arbitrarios. En este artículo presentamos un sistema basado en visión que permite entregas reactivas de objetos desconocidos de humano a robot. Nuestro enfoque combina la planificación de movimiento en lazo cerrado con la generación de agarres en tiempo real y temporalmente coherente para garantizar la reactividad y la suavidad del movimiento. Nuestro sistema es robusto ante distintas posiciones y orientaciones del objeto, y puede agarrar objetos tanto rígidos como no rígidos. Demostramos la capacidad de generalización, la usabilidad y la robustez de nuestro enfoque en un nuevo conjunto de referencia de 26 objetos domésticos diversos, un estudio con usuarios sin experiencia (N=6) que entregan un subconjunto de 15 objetos y una evaluación sistemática que examina distintas formas de entregar objetos. Hay más resultados y vídeos en https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects.

Enlaces

• arXiv 2011.08961: https://arxiv.org/abs/2011.08961
• DOI 10.1109/ICRA48506.2021.9561170: https://doi.org/10.1109/ICRA48506.2021.9561170
• PDF: https://arxiv.org/pdf/2011.08961v1
• Página del proyecto: https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects