MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback

Auteurs: Andrea Sipos, Nima Fazeli · RSS 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Deux bras font se heurter plusieurs fois les objets qu'ils tiennent ; des filtres particulaires notés sur le contact, l'effort et la cohérence entre actions retrouvent les deux poses dans la main à environ 0,5 cm près.

Pourquoi c'est important

La méthode ne nécessite ni caméra ni peau tactile haute résolution, seulement la mesure articulaire et l'estimation du torseur que fournissent déjà des cobots comme le Franka Emika Panda, ou un capteur d'effort au poignet du commerce. La correction de pose dans la main devient ainsi possible dans des situations d'occultation, sur du matériel courant.

Problème

Les erreurs sur la pose d'un objet saisi provoquent glissements, contacts inattendus et coincements lors de l'utilisation d'outils et de l'assemblage. Les estimateurs fondés sur la vision échouent en cas d'occultation, fréquente en assemblage de précision et dans les espaces étroits, et les capteurs tactiles haute résolution sont coûteux, s'usent vite et sont difficiles à modéliser. Un seul contact (comme dans la méthode SCOPE antérieure des auteurs) laisse souvent la pose ambiguë.

Solution proposée

MultiSCOPE étend SCOPE, qui associe un filtre particulaire de contact (CPFGrasp) à un filtre particulaire de pose d'objet, d'un seul contact à une séquence de poussées entre deux objets tenus par deux bras, en n'utilisant que la proprioception et des torseurs mesurés au poignet sur 6 axes. Il ajoute une étape de segmentation d'outil (K-Means sur les normales de surface, puis DBSCAN) pour que chaque face reçoive des particules de contact, une perte de torseur qui favorise les poses dont les contacts expliquent le torseur mesuré au poignet, et une perte de mémoire qui évalue les poses par rapport à un nuage de contacts construit à partir des actions précédentes, avec un 'memory dropout' lorsqu'une action antérieure s'avère incohérente.

Idées clés

• Combiner plusieurs actions de contact lève l'ambiguïté que laisse une seule action : une poussée peut contraindre une direction, une seconde poussée une autre
• Échantillonner des particules de contact par face segmentée, plutôt qu'uniformément sur la surface, évite de manquer des faces petites mais fonctionnellement importantes et réduit le nombre de particules nécessaires
• Exiger que les contacts estimés reproduisent le torseur mesuré au poignet (la perte de torseur) était la perte individuelle la plus forte dans l'ablation
• L'erreur d'étalonnage entre robots compte : sans étalonnage, les auteurs ont observé 1–1,5 cm d'erreur RMS entre les deux bras, ramenée à 3–7 mm avec une routine fondée sur ICP

Principaux résultats

• Simulation, outil clé, 10 essais de 5 actions : erreur de pose de l'outil 0,47 ± 0,27 cm et −0,76 ± 2,01°, erreur de pose de la sonde 0,49 ± 0,28 cm et −2,67 ± 4,76° ; 8 tâches clé-sur-vis à tolérance serrée sur 10 réussies
• L'ablation des pertes pour la méthode complète (Table I, 5 essais) rapporte 0,48 ± 0,16 cm d'erreur outil et 100 % de réussite, tandis que la série de 10 essais (texte et Table II) rapporte 0,47 ± 0,27 cm et 80 % ; ce sont des séries d'essais distinctes
• Les actions uniques seules donnaient en moyenne 1,08 cm d'erreur de translation de l'outil et 40 % de réussite, contre 0,47 cm et 80 % pour la méthode multi-actions complète (Table II)
• Avec un bruit d'effort de 5 % de l'amplitude du signal : 0,52 ± 0,31 cm d'erreur outil et 4 tâches sur 5 accomplies ; à 8 % de bruit, aucune tâche n'a réussi (1,13 ± 0,33 cm d'erreur outil)
• Les outils clé hexagonale, cliquet et engrenage en simulation ont donné des erreurs de translation de 0,31, 0,33 et 0,49 cm (10 essais chacun)
• Matériel réel, outil clé, 4 actions : 5 essais de tâche sur 5 réussis (tolérance de 3,5 mm par côté avec un cylindre comme cible)

Limites

• Les auteurs désignent le choix des actions comme travail futur : les poussées ont été choisies à la main, et une sélection plus méthodique est nécessaire pour réduire le nombre d'actions
• La méthode suppose des objets rigides aux modèles géométriques connus, des contacts ponctuels ne transmettant aucun moment et aucun glissement relatif pendant les poussées
• Le bruit de proprioception n'est pas modélisé ; les auteurs ont trouvé les deux bras réels difficiles à étalonner l'un par rapport à l'autre (3–7 mm RMS après étalonnage)
• La précision se dégrade avec le bruit d'effort : à 8 % de bruit, aucune démonstration fondée sur une tâche n'a réussi
• Les poses sont estimées dans SE(2) parce que les pinces à mors parallèles les contraignent, et le test en conditions réelles a utilisé un seul outil et un cylindre au lieu d'une tête de vis

Impact sur le domaine

Finaliste du RSS 2023 Best Student Paper Award, avec 14 citations. L'article renvoie à www.mmintlab.com/multiscope/ pour le code et les vidéos ; cette page renvoie au dépôt de code.

Résumé

Dans cet article, nous proposons une méthode d'estimation de la pose d'objets dans la main utilisant la proprioception et le retour tactile d'un système robotique bimanuel. Notre méthode traite le problème de la réduction de l'incertitude de pose au moyen d'une séquence d'interactions de contact avec frottement entre les objets saisis. Dans le cadre de notre méthode, nous proposons 1) une routine de segmentation d'outil qui facilite l'estimation du lieu de contact et de la pose de l'objet, 2) une perte qui permet de raisonner sur la cohérence des solutions entre interactions, et 3) une perte qui favorise la convergence vers des poses d'objet et des lieux de contact expliquant le torseur d'effort externe subi par chaque bras. Nous démontrons l'efficacité de notre méthode dans une démonstration fondée sur une tâche, à la fois en simulation et sur une plateforme bimanuelle réelle, et montrons une amélioration significative de l'estimation de pose des objets par rapport aux interactions uniques. Code et vidéos sur www.mmintlab.com/multiscope/.

Liens

• arXiv 2305.14204: https://arxiv.org/abs/2305.14204
• DOI 10.48550/arXiv.2305.14204: https://doi.org/10.48550/arXiv.2305.14204
• PDF: https://arxiv.org/pdf/2305.14204v1
• Code: https://github.com/MMintLab/multiscope
• Page du projet: https://www.mmintlab.com/multiscope/