A System for General In-Hand Object Re-Orientation

Auteurs: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un RL sans modèle avec distillation enseignant-élève, initialisation en pose soulevée et curriculum de gravité réoriente plus de 2000 objets dans une Shadow Hand simulée, paume vers le haut ou vers le bas, sans entrée de forme.

Pourquoi c'est important

Les politiques atteignent des orientations but arbitraires dans SO(3) sans aucune entrée sur la forme de l'objet, ce que les auteurs qualifient de résultat le plus surprenant et qui suggère que la perception de la forme pourrait compter moins que prévu pour la réorientation dans la main. Les cas main vers le bas et avec appui sur une table couvrent des configurations de main que les travaux antérieurs de réorientation apprise, centrés sur une main paume vers le haut, n'abordaient pas.

Problème

Réorienter un objet dans une main à plusieurs doigts implique de commander un espace d'action de grande dimension pendant que les contacts doigts-objet ne cessent de s'établir et de se rompre. Les méthodes antérieures étaient surtout montrées en simulation sur des formes simples avec des modèles d'objets connus, ou nécessitaient un appareillage supplémentaire comme la capture de mouvement sur robot réel, ne généralisaient pas d'un objet à l'autre, et presque toutes supposaient que la main est orientée vers le haut.

Solution proposée

Une politique enseignante est entraînée avec PPO sur l'état privilégié du simulateur (y compris les vitesses de l'objet et du bout des doigts) sur plus de 2000 objets EGAD et YCB, puis distillée avec DAgger en politiques élèves qui voient soit les positions articulaires plus la pose de l'objet, soit uniquement un nuage de points voxélisé issu de deux caméras RGBD, traité par un réseau convolutif 3D creux (Sparse3D-IMPALA-Net). Pour une main orientée vers le bas sans table, les épisodes démarrent à partir des états finaux d'une politique distincte de soulèvement d'objets, et la gravité est introduite progressivement au moyen d'un curriculum.

Idées clés

• Des politiques sans accès à la forme de l'objet réorientent de nombreux objets inédits ; main vers le haut, la stratégie apprise lance l'objet en le faisant tourner et le rattrape quand son orientation correspond au but.
• Un état privilégié, comme les vitesses de l'objet et du bout des doigts, entraîne de meilleures politiques plus rapidement, et la distillation DAgger vers un état réduit à 31 dimensions (positions articulaires, position de l'objet, différence d'orientation) conserve l'essentiel du taux de réussite.
• Main vers le bas et sans appui, l'entraînement direct donne 0 % de réussite ; démarrer les épisodes à partir des états finaux d'une politique de soulèvement et ajouter un curriculum de gravité rendent la tâche apprenable.
• Utiliser la distance de Chamfer entre les nuages de points courant et but de l'objet comme test de réussite supplémentaire permet de traiter les objets symétriques dont des orientations différentes paraissent identiques aux caméras.
• Des politiques entraînées sur des objets de 50-150 g réorientent en zero-shot des objets YCB dont la masse a été portée à 0,3-0,5 kg avec environ 75 % de réussite.

Principaux résultats

• Main vers le haut, enseignant RNN à état complet (entraîné et testé sans randomisation de domaine) : 95,95 ± 0,8 % de réussite sur EGAD et 80,40 ± 1,6 % sur YCB.
• Main vers le haut, élève RNN à état réduit : 91,96 ± 1,5 % sur EGAD et 81,04 ± 0,5 % sur YCB.
• Main vers le bas au-dessus d'une table, MLP à état complet : 95,31 ± 0,9 % (EGAD) et 81,59 ± 0,7 % (YCB) ; la politique de soulèvement d'objets utilisée pour l'initialisation réussit à 97,80 % (EGAD) et 90,11 % (YCB).
• Main vers le bas en l'air, élève à état réduit : 74,10 ± 2,3 % (EGAD) et 45,22 ± 2,1 % (YCB) ; avec le curriculum de gravité, YCB monte à 67,33 ± 1,9 %.
• Transfert zero-shot entre jeux de données, main vers le haut, état complet : 68,82 ± 1,7 % pour EGAD→YCB et 96,41 ± 1,2 % pour YCB→EGAD.
• Politiques de vision par objet (θ̄ = 0,2 rad, seuil de Chamfer 0,01) : 89,67 ± 1,2 % sur une tasse et 84,52 ± 1,4 % sur un avion jouet, 50,21-66,57 % sur des pièces Lego Duplo symétriques.

Limites

• Toutes les expériences sont en simulation (une Shadow Hand simulée dans Isaac Gym) ; les auteurs ont limité la portée en raison de la pandémie et ne donnent que des éléments indirects pour le transfert au réel (randomisation de domaine et analyse des couples de pointe).
• Les politiques de vision ont été entraînées une par objet sur six objets en raison du coût de calcul ; une politique de vision unique pour de nombreux objets est laissée à des travaux futurs, la mémoire GPU étant désignée comme principal goulot d'étranglement.
• La réussite varie fortement selon la forme de l'objet : les objets longs, petits ou fins causent 60 % des 100 échecs YCB analysés, et 19 % supplémentaires se terminent près du but mais hors du seuil de 0,1 rad.
• Les auteurs n'excluent pas totalement que la stratégie lancer-rattraper exploite le simulateur, bien que leur analyse des forces indique le contraire.
• La réorientation main vers le bas sans appui reste bien en dessous du cas main vers le haut sur YCB (45,22 % pour l'élève sans le curriculum, 67,33 % avec).

Impact sur le domaine

Lauréat du CoRL 2021 Best Paper Award, avec 351 citations. L'article publie des vidéos des politiques apprises sur sa page de projet, et la page officielle du projet renvoie vers un dépôt de code (Improbable-AI/dexenv).

Résumé

La réorientation d'objets dans la main est un problème difficile en robotique en raison de l'espace d'actionnement de grande dimension et des changements fréquents de l'état de contact entre les doigts et les objets. Nous présentons un cadre simple sans modèle capable d'apprendre à réorienter des objets avec la main orientée vers le haut comme vers le bas. Nous démontrons la capacité de réorienter plus de 2000 objets géométriquement différents dans les deux cas. Les politiques apprises montrent de fortes performances de transfert zero-shot sur de nouveaux objets. Nous apportons des éléments montrant que ces politiques se prêtent à un fonctionnement en conditions réelles en les distillant pour qu'elles utilisent des observations facilement disponibles dans le monde réel. Les vidéos des politiques apprises sont disponibles à l'adresse : https://taochenshh.github.io/projects/in-hand-reorientation.

Liens

• arXiv 2111.03043: https://arxiv.org/abs/2111.03043
• DOI 10.48550/arXiv.2111.03043: https://doi.org/10.48550/arXiv.2111.03043
• PDF: https://proceedings.mlr.press/v164/chen22a/chen22a.pdf
• Code: https://github.com/Improbable-AI/dexenv
• Page du projet: https://taochenshh.github.io/projects/in-hand-reorientation