kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation

Auteurs: Wei Gao, Russ Tedrake · ICRA 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Des points clés 3D orientés servent d'état et d'action à un contrôleur en boucle fermée, si bien qu'une seule politique gère l'insertion de cheville à 0,2 mm, le LEGO, l'USB et l'essuyage malgré les variations de forme.

Pourquoi c'est important

Comme l'état et l'action ne se réfèrent qu'à la partie de l'objet utile à la tâche, le même contrôleur fonctionne pour différentes instances d'objets, poses de saisie et configurations initiales, sans réglage instance par instance. Le cadre ne fixe que les interfaces, de sorte que d'autres modules de perception et des agents fondés sur un modèle ou appris peuvent y être branchés.

Problème

Les chaînes de manipulation en boucle fermée construisent généralement la rétroaction sur un estimateur de pose 6-DOF en temps réel, mais une pose définie sur un gabarit géométrique fixe ne capture pas les grandes variations de forme au sein d'une catégorie. La méthode originale de points clés kPAM gère le pick-and-place au niveau de la catégorie, mais suppose qu'une transformation rigide arbitraire peut être appliquée à l'objet, ce qui ne tient pas pour des tâches riches en contacts comme l'insertion de cheville dans un trou.

Solution proposée

Les points clés reçoivent un repère d'orientation local, et l'action du robot est exprimée comme la vitesse linéaire/angulaire ou la force/le couple souhaités d'un point clé orienté, transposés en commandes articulaires via la jacobienne du point clé. Les mesures de force/couple sont transformées vers le point clé comme un capteur virtuel, les entrées et sorties sont réexprimées dans un repère nominal pour être transposées à de nouveaux placements, et une étape de pick-and-place kPAM, simplifiée par les points clés orientés, amène l'objet dans la configuration de départ.

Idées clés

• Un point clé orienté local et propre à la tâche ignore la géométrie non pertinente, comme la poignée que tient le robot, et c'est ce qui permet la généralisation au niveau de la catégorie.
• Si l'objet est rigide et tenu fermement, il peut être traité comme une partie du robot, de sorte que des contrôleurs standard dans l'espace articulaire transposent aux articulations les commandes de vitesse ou de force des points clés.
• Transformer les mesures de force/couple du poignet dans le repère du point clé les rend indépendantes de la géométrie de l'objet et de la pose de saisie.
• Une erreur visuelle de point clé d'environ 5 mm à 80 cm dépasse de loin un jeu de 0,2 mm ; une correction en boucle fermée avec points clés et force/couple est donc nécessaire, et la relecture en boucle ouverte échoue.
• Ajouter l'orientation aux points clés de kPAM supprime dans de nombreux cas la nécessité de résoudre une optimisation coût/contraintes pour la cible du pick-and-place.

Principaux résultats

• Taux d'échec, méthode contre référence en boucle ouverte : essuyage de tableau blanc 1/25 (4 %) contre 16/20 (80 %) ; cheville-trou imprimé en 3D avec un jeu de 0,2 mm 12/45 (26 %) contre 19/20 (95 %).
• Briques LEGO 2/25 (8 %) contre 7/20 (35 %) ; port USB 9/20 (45 %) contre 20/20 (100 %).
• Une référence par pose 6-DOF (initialisation par points clés plus ICP vers un gabarit) a échoué dans 10/25 (40 %) des cas pour l'essuyage, 25/45 (55 %) pour la cheville-trou imprimée, 9/25 (36 %) pour le LEGO et 17/20 (85 %) pour l'USB, certains essais nécessitant un arrêt de sécurité.
• L'essuyage régulait une force normale nominale de 10 N ; un essai comptait comme un échec si le point clé avant de l'effaceur s'écartait de plus de 2 cm du bord du tableau blanc ou si la force tombait sous 5 N.
• Pour l'USB, environ 3 mm d'erreur sur le petit côté provoque l'échec ; un schéma en deux étapes avec la caméra de poignet, d'abord grossier puis de près, a réduit l'erreur de perception à 2 mm.
• Un agent appris par imitation des essais réussis a fonctionné sur les trois catégories de cheville-trou, mais n'a pas surpassé le contrôleur écrit à la main, qu'il a presque reproduit.

Limites

• Des points clés épars ne peuvent pas traiter les tâches qui exigent une géométrie dense, par exemple reconnaître qu'une cheville est plus grande que son trou, ou la planification de trajectoire sans collision (selon les auteurs).
• L'objet est supposé statique par rapport à la pince, ce qui restreint les forces appliquées à celles équilibrées à l'intérieur des cônes de frottement statique ; la caméra montée au poignet ne peut pas détecter le glissement entre pince et objet (selon les auteurs).
• Les échecs provenaient de saisies ratées et d'erreurs de points clés trop grandes pour être corrigées par la rétroaction, et la clé USB a dû être fixée au préalable à la pince en raison de sa préhensibilité (selon les auteurs).
• Les points clés propres à chaque tâche doivent être choisis par le modélisateur pour chaque tâche.
• Pour le modèle du robot et le détail du dispositif, l'article renvoie à une annexe qui ne fait pas partie de cette copie arXiv v1.

Impact sur le domaine

L'article a été finaliste du IEEE ICRA 2021 Best Paper Award in Robot Manipulation et compte 91 citations. Il indique que la démonstration vidéo et le code source sont disponibles et donne comme lien https://sites.google.com/view/kpam2/.

Résumé

Dans cet article, nous explorons une manipulation robotique généralisable, de la perception à l'action, pour des tâches précises et riches en contacts. En particulier, nous proposons un cadre de manipulation robotique en boucle fermée qui traite automatiquement une catégorie d'objets, malgré des instances d'objets potentiellement inédites et des variations intra-catégorie importantes de forme, de taille et d'apparence. Les approches précédentes construisent généralement une boucle de rétroaction au-dessus d'un estimateur de pose 6-DOF en temps réel. Cependant, représenter un objet par une transformation paramétrée d'un gabarit géométrique fixe ne capture pas les grandes variations de forme au sein d'une catégorie. Nous adoptons donc la représentation d'objet fondée sur des points clés proposée dans kPAM [13] pour le pick-and-place au niveau de la catégorie, et l'étendons à des politiques de manipulation en boucle fermée pour des tâches riches en contacts. Nous enrichissons d'abord les points clés d'une information d'orientation locale. À l'aide des points clés orientés, nous proposons une nouvelle représentation d'action centrée sur l'objet, qui consiste à réguler la vitesse linéaire/angulaire ou la force/le couple de ces points clés orientés. Cette formulation est étonnamment polyvalente – nous montrons qu'elle permet d'accomplir des tâches de manipulation riches en contacts exigeant précision et dextérité pour une catégorie d'objets de formes, de tailles et d'apparences différentes, comme l'insertion de chevilles dans des trous (peg-in-hole) avec des chevilles et des trous présentant d'importantes variations de forme et un jeu serré. Grâce à la représentation d'objet et d'action proposée, notre cadre est également indépendant de la pose de saisie du robot et de la configuration initiale de l'objet, ce qui le rend flexible pour l'intégration et le déploiement. La démonstration vidéo et le code source sont disponibles à ce lien.

Liens

• arXiv 2102.06279: https://arxiv.org/abs/2102.06279
• DOI 10.1109/LRA.2021.3062315: https://doi.org/10.1109/LRA.2021.3062315
• PDF: https://arxiv.org/pdf/2102.06279v1
• Page du projet: https://sites.google.com/view/kpam2/