Reactive Human-To-Robot Handovers of Arbitrary Objects

Auteurs: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Segmenter la main, saisir ce qui reste : un système fondé sur la vision permet à un Franka Panda de prendre 26 objets domestiques différents des mains de personnes et de replanifier quand l'objet bouge.

Pourquoi c'est important

L'objet n'a pas besoin d'appartenir aux catégories d'un détecteur préentraîné, ce que les auteurs désignent comme le principal goulot d'étranglement des travaux antérieurs les plus proches. La boucle fermée permet au robot de suivre un objet que la personne tourne après que le robot a commencé à bouger, cause de la plupart des échecs rapportés dans ces travaux antérieurs.

Problème

Les robots d'assistance doivent prendre de nombreux types d'objets des mains des personnes, mais la plupart des études de transmission ont utilisé un seul objet, et un seul des articles recensés en utilisait plus de six. Prendre un objet dans une main diffère de la saisie d'un objet statique : l'objet peut bouger, il est en partie caché par les doigts, il limite les directions d'approche, et le mouvement du robot doit paraître sûr.

Solution proposée

Le système recadre le nuage de points autour de la main suivie avec l'Azure Kinect Body Tracking SDK, segmente la main dans l'image RGB avec un Feature Pyramid Network sur ResNet-50 entraîné sur des masques générés automatiquement, et étiquette les points restants comme l'objet. 6-DOF GraspNet propose des saisies qui sont affinées d'une image à l'autre par échantillonnage de Metropolis-Hastings avec son évaluateur de saisies, les saisies en collision avec la main sont supprimées, et un modèle de tâche Robust Logical Dynamical Systems avec des Riemannian Motion Policies choisit et exécute les poses d'approche.

Idées clés

• Segmenter la main, une tâche bien définie, et étiqueter comme objet les points restants du recadrage évite d'avoir à segmenter directement des objets inédits.
• Les masques d'entraînement de la main peuvent être produits sans annotateurs humains en découpant la main nue suivie dans le nuage de points et en la projetant dans l'image.
• Affiner les saisies de l'image précédente avec l'évaluateur de saisies garde les saisies cohérentes dans le temps sans réentraîner GraspNet ; les saisies sont rééchantillonnées quand trop peu survivent à un mouvement rapide de la main.
• Noter les poses d'approche selon leur distance à la meilleure saisie précédente et à la pose de repos garde le mouvement fluide pendant le suivi de la personne.
• Faire pivoter chaque saisie de 180° autour de son axe Z double le nombre de candidats pour une pince à deux doigts.

Principaux résultats

• Le modèle de segmentation de la main atteint 99,7 % de précision par pixel, 99,5 % d'IoU pondérée par fréquence et 68,0 % d'IoU moyenne sur un ensemble de validation collecté de la même manière.
• Test systématique avec une banane, un flacon de mayonnaise jouet et une boîte de céréales jouet tenus à plat, à 45° et à 90° : au total 11,39 ± 4,29 s par transmission et 90 % de réussite ; banane 100 %, flacon 90 %, boîte de céréales 82 %.
• Objet tourné après que le robot a commencé à bouger : 0–45° a donné 100 % de réussite en 11,81 ± 3,93 s ; 0–90° a donné 69 % en 15,41 ± 7,39 s.
• Étude utilisateur avec 6 participants transmettant 10 objets : temps d'approche moyen de 10,7 ± 3,6 s, 1,3 ± 0,3 tentative et 81,8 % de réussite ; le stylo (50,0 %), la tasse (54,5 %) et la cuillère (66,7 %) étaient les plus bas.
• Le texte (Sections V-A, V-B et VI-B) indique que chaque objet a fini par être pris, en trois tentatives ou moins dans le test systématique, alors que les Tables I et II donnent des taux de réussite inférieurs à 100 % pour plusieurs objets.
• Les notes du questionnaire étaient d'environ 4 ou plus dans toutes les dimensions, avec une faible variance entre participants.

Limites

• Les échecs venaient de l'absence de profondeur sur les surfaces sombres, du réseau de segmentation étiquetant l'objet comme main, et du bruit dans le nuage de points recadré dû aux objets voisins (selon les auteurs).
• Le coût de la cinématique inverse limite la vitesse à laquelle le robot peut mettre à jour sa saisie cible ; les participants ont demandé un mouvement plus rapide et plus fluide (selon les auteurs).
• L'étude utilisateur comptait six participants, tous recrutés au sein du laboratoire en raison des protocoles de sécurité liés à la pandémie (selon les auteurs).
• La personne doit tenir l'objet de manière à le laisser saisissable par le robot.
• L'évaluation systématique a utilisé un utilisateur et trois objets, les transmissions étant répétées jusqu'à ce que le robot ait réussi trois fois.

Impact sur le domaine

L'article a remporté le IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) et compte 99 citations. Il renvoie à une page de projet avec d'autres résultats et vidéos ; il ne mentionne pas de publication du code ou d'un jeu de données.

Résumé

Les transmissions d'objets entre humains et robots ont été un domaine activement étudié de la robotique au cours de la dernière décennie ; cependant, très peu de techniques et de systèmes ont relevé le défi de transmettre des objets variés, d'apparence, de taille, de forme et de rigidité arbitraires. Dans cet article, nous présentons un système fondé sur la vision qui permet des transmissions réactives d'objets inconnus de l'humain vers le robot. Notre approche combine une planification de mouvement en boucle fermée avec une génération de saisies en temps réel et temporellement cohérente afin d'assurer la réactivité et la fluidité du mouvement. Notre système est robuste à différentes positions et orientations des objets, et peut saisir des objets aussi bien rigides que non rigides. Nous démontrons la capacité de généralisation, l'utilisabilité et la robustesse de notre approche sur un nouvel ensemble de référence de 26 objets domestiques variés, une étude utilisateur avec des utilisateurs novices (N=6) transmettant un sous-ensemble de 15 objets, et une évaluation systématique examinant différentes façons de tendre les objets. D'autres résultats et vidéos sont disponibles sur https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects.

Liens

• arXiv 2011.08961: https://arxiv.org/abs/2011.08961
• DOI 10.1109/ICRA48506.2021.9561170: https://doi.org/10.1109/ICRA48506.2021.9561170
• PDF: https://arxiv.org/pdf/2011.08961v1
• Page du projet: https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects