Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks

Auteurs: Soroush Nasiriany, Huihan Liu, Yuke Zhu · ICRA 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un agent de RL choisit parmi des primitives codées à la main d'atteinte, de saisie, de poussée et de relâchement ou une action motrice brute, et règle leurs paramètres, ce qui réduit le fardeau de l'exploration en manipulation à long horizon.

Pourquoi c'est important

La robotique dispose déjà de modules fiables pour saisir et atteindre, et ce travail montre qu'un algorithme de RL générique peut apprendre à les enchaîner sans plan de tâche écrit à la main. Comme la politique agit au travers de primitives, la même politique a été transférée de la simulation à un robot réel une fois les primitives réimplémentées sur le matériel.

Problème

L'apprentissage par renforcement profond peine en manipulation à long horizon, car le robot doit explorer un très grand espace d'actions motrices de bas niveau. Les méthodes de RL hiérarchique qui apprennent des compétences à partir de zéro nécessitent beaucoup d'échantillons, tandis que la planification de tâches et de mouvements et la programmation neuronale s'appuient sur des connaissances du domaine ou une supervision humaine pour composer des modules préconstruits.

Solution proposée

MAPLE formule la commande comme un MDP à actions paramétrées : à chaque pas, une politique de tâche de haut niveau choisit une primitive (atteinte, saisie, poussée, ouverture de la pince ou une action atomique unique) et un sous-réseau de paramètres propre à chaque primitive fixe ses entrées, comme une position cible et un angle de lacet. Les deux sont entraînés avec un Soft Actor-Critic modifié, et un score d'affordance analytique ajouté à la récompense oriente les paramètres des primitives vers les objets pertinents. Conserver l'action atomique permet à l'agent de gérer des étapes que les primitives ne peuvent pas exprimer, comme une insertion riche en contacts.

Idées clés

• Une politique hiérarchique, qui choisit d'abord la primitive puis ses paramètres, a surpassé une politique plate qui échantillonne le type et les paramètres indépendamment
• Conserver la primitive atomique était nécessaire pour Peg Insertion : la version sans elle a atteint 0 % tandis que MAPLE a atteint 100 %
• Sans récompenses d'affordance, ou sans la primitive d'atteinte ou de saisie, l'agent n'a pas réussi à résoudre Pick and Place
• Un score de compositionnalité fondé sur la distance de Levenshtein entre les séquences de primitives apprises est plus faible pour les tâches riches en contacts (Peg Insertion 0,24, Wipe 0,67) que pour les tâches de préhension (Lift et Door 1,0)
• Une esquisse de tâche apprise peut être réutilisée sur une tâche similaire, de sorte que seuls les paramètres des primitives restent à apprendre

Principaux résultats

• Réussite finale moyenne sur huit tâches simulées : MAPLE 90 %, Atomic SAC 19 %, Flat 36 %, Open Loop 41 %, DAC 11 %, MAPLE sans actions atomiques 79 %
• Le gain par rapport à la référence Atomic est présenté comme une augmentation de 70 % dans l'introduction et comme un taux de réussite supérieur de 71 % avec des récompenses 2-3× plus élevées dans la section des résultats
• L'article décrit MAPLE comme la seule méthode ayant résolu de façon constante toutes les tâches à un bras du benchmark standard robosuite
• Le transfert de l'esquisse de tâche Pick and Place avec une canette de soda vers une variante avec du pain a appris la tâche cible plus de 5× plus vite qu'un entraînement à partir de zéro
• Réussite en conditions réelles sur 30 essais par tâche : 93 % sur Stack (97 % en simulation) et 83 % sur Cleanup (93 % en simulation)
• HIRO n'a pas progressé et a été exclu des résultats

Limites

• Les auteurs indiquent que les actions atomiques peuvent combler de petits manques mais pas de grands qui nécessitent de nombreuses actions de bas niveau, et que davantage de travail sur l'exploration et l'attribution du mérite est nécessaire
• Les scores d'affordance sont définis à la main à partir des états des objets ; les auteurs citent les affordances apprises comme travail futur
• Wipe reste difficile : MAPLE y atteint 42 % de réussite
• Lors des tests en conditions réelles, le tangage, le lacet et la hauteur de table des objets ont été codés en dur pour contourner les erreurs d'estimation de pose, et les occultations ont nécessité une routine de soulèvement puis de nouvelle estimation
• Les échecs en conditions réelles venaient surtout de saisies médiocres répétées ou du robot atteignant ses limites articulaires et déclenchant un arrêt de sécurité

Impact sur le domaine

Lauréat du ICRA 2022 Outstanding Learning Paper award, avec 155 citations. Les auteurs publient le code et les vidéos sur la page du projet.

Résumé

Les tâches de manipulation réalistes exigent qu'un robot interagisse avec un environnement au moyen d'une longue séquence d'actions motrices. Si les méthodes d'apprentissage par renforcement profond se sont récemment imposées comme un paradigme prometteur pour automatiser les comportements de manipulation, elles échouent généralement dans les tâches à long horizon en raison du fardeau de l'exploration. Ce travail présente MAnipulation Primitive-augmented reinforcement LEarning (MAPLE), un cadre d'apprentissage qui complète les algorithmes standard d'apprentissage par renforcement par une bibliothèque prédéfinie de primitives comportementales. Ces primitives comportementales sont des modules fonctionnels robustes spécialisés dans l'atteinte d'objectifs de manipulation, comme saisir et pousser. Pour utiliser ces primitives hétérogènes, nous développons une politique hiérarchique qui fait intervenir les primitives et instancie leurs exécutions avec des paramètres d'entrée. Nous montrons que MAPLE surpasse nettement les approches de référence sur une suite de tâches de manipulation simulées. Nous quantifions également la structure compositionnelle des comportements appris et mettons en évidence la capacité de notre méthode à transférer des politiques vers de nouvelles variantes de tâches et vers du matériel physique. Les vidéos et le code sont disponibles sur https://ut-austin-rpl.github.io/maple

Liens

• arXiv 2110.03655: https://arxiv.org/abs/2110.03655
• DOI 10.48550/arXiv.2110.03655: https://doi.org/10.48550/arXiv.2110.03655
• PDF: https://arxiv.org/pdf/2110.03655v1
• Page du projet: https://ut-austin-rpl.github.io/maple