Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

Auteurs: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

Licences

Accès libre
Article: CC0 1.0 Universal

Tout ce qui suit s'appuie sur l'article complet, que ses auteurs ont placé sous CC0 1.0 Universal ; sa figure est montrée en citant les auteurs.

En bref

FISH ajoute un résidu appris à une politique de base fixe en boucle ouverte ou par plus proche voisin, récompensé par une correspondance par transport optimal avec 1–3 démonstrations, et s'adapte en ≤20 minutes à des positions d'objets jamais vues.

Pourquoi c'est important

La seule entrée de la tâche est moins d'une minute de démonstrations : pas d'estimation d'état, pas de récompense construite à la main ni de grand ensemble de démonstrations, avec un entraînement en ligne plafonné à 20 minutes. Comme seul le résidu est appris, l'exploration peut être limitée à des dimensions d'action choisies, ce qui, comme le montrent les auteurs, a évité les collisions de doigts et les poses dangereuses observées lorsque ROT explorait toutes les dimensions sur l'Allegro Hand.

Problème

Les politiques d'imitation visuelle nécessitent de nombreuses démonstrations pour couvrir des variations comme la position des objets ; l'article cite MIME avec 400 démonstrations par tâche et robomimic avec 200. Adapter une politique hors ligne par du RL en ligne peut réduire ce besoin, mais le RL requiert une récompense, et les récompenses propres à une tâche sont difficiles à construire lorsque l'état des objets ne peut pas être estimé.

Solution proposée

FISH fonctionne en deux phases. D'abord, une politique de base non paramétrique faible (rejeu en boucle ouverte ou récupération du plus proche voisin avec VINN) est ajustée à environ une minute de démonstrations (1–3 trajectoires). Ensuite, une politique résiduelle entraînée avec n-step DDPG ajoute des décalages correctifs à l'action de base, récompensée par une correspondance par transport optimal de Sinkhorn entre les observations de la caméra du robot et la démonstration, calculée avec un encodeur figé issu du clonage comportemental.

Idées clés

Garder la politique de base fixe et n'apprendre que des décalages résiduels a battu l'ajustement fin en ligne d'une politique BC (ROT) sur chaque tâche du Table I.
Les politiques de base non paramétriques (VINN, boucle ouverte) ont mieux fonctionné que le BC paramétrique dans ce régime à faibles données ; le BC a obtenu de mauvais résultats dans l'espace d'action à 16 dimensions de l'Allegro Hand.
Les encodeurs entraînés par clonage comportemental sur les quelques démonstrations du domaine ont donné de meilleurs résultats que les encodeurs ImageNet, R3M ou MVP préentraînés sur de grandes données hors domaine.
Figer l'encodeur (pour que les récompenses OT restent stationnaires) et conditionner le résidu sur l'action de base sont tous deux nécessaires ; supprimer l'un ou l'autre a réduit la réussite (Table V).
Restreindre l'exploration résiduelle à des axes d'action choisis a amélioré l'efficacité en échantillons, tandis que régulariser de manière adaptative les décalages vers zéro a dégradé les performances.

Principaux résultats

Taux de réussite moyen de 93 % sur 9 tâches réelles avec 3 robots, environ 3,8× plus que les méthodes antérieures (résumé) ; l'introduction formule le même chiffre comme une 'amélioration de 93 % du taux de réussite' avec 20 minutes d'interaction en ligne.
Table I : 1,0 sur l'ouverture de porte, l'ouverture de tiroir et l'actionnement d'un interrupteur (Stretch, 5 essais chacun) ainsi que sur le retournement de cube et la rotation d'un bouchon de bouteille (Allegro Hand) ; 0,8 sur la saisie d'un billet de banque, 0,9 sur la cheville dans la tasse et le retournement de bagel, 0,8 sur l'insertion de clé (10 essais chacun).
La meilleure référence sur une tâche donnée du Table I atteint au plus 0,6 (ROT sur l'interrupteur et l'insertion de clé) ; sur l'ouverture de porte, l'ouverture de tiroir, le retournement de cube et la rotation du bouchon, aucune référence ne dépasse 0,2.
Sans régularisation adaptative des décalages, la réussite était de 0,9 sur le retournement de bagel et de 0,8 sur la saisie du billet, contre 0,4 et 0,4 avec (Table II).
Remplacer l'encodeur BC par des encodeurs préentraînés a fait chuter le retournement de bagel de 0,9 à 0,0 (ImageNet), 0,0 (R3M) et 0,3 (MVP), et la saisie du billet de 0,8 à 0,0, 0,1 et 0,0 (Table IV).
Sur de nouveaux objets après 5 minutes d'apprentissage en ligne, la réussite allait de 0,9 à 0,0 pour les pains et de 0,8 à 0,0 pour les billets et les cartes ; un pain plat souple et un portefeuille épais ont complètement échoué (Fig. 8).

Limites

Les récompenses OT alignent le robot sur les démonstrations, si bien que la méthode suppose que le démonstrateur est un expert (selon les auteurs).
Des entrées uniquement visuelles rendent difficiles les tâches précises à faible signal visuel, comme trouver un trou de serrure qui n'occupe qu'une infime partie de l'image ; les auteurs suggèrent la perception tactile (selon les auteurs).
La politique résiduelle est initialisée aléatoirement ; les auteurs notent que la préentraîner pourrait aider pour des tâches plus difficiles exigeant une commande plus précise (selon les auteurs).
La réussite diminue à mesure que les objets diffèrent de celui démontré, jusqu'à l'échec complet sur un pain plat et un portefeuille.
Chaque tâche est évaluée sur 10 positions d'objets (xArm, Allegro Hand) ou 5 initialisations du robot (Stretch).

Impact sur le domaine

Lauréat du RSS 2023 Best Student Paper Award, avec 113 citations. Les auteurs publient le code et des vidéos du robot via fast-imitation.github.io, et la page du projet renvoie vers le dépôt de code.

Résumé

Si l'apprentissage par imitation nous fournit une boîte à outils efficace pour entraîner des robots, apprendre des compétences robustes aux variations de l'environnement reste un défi majeur. Les approches actuelles relèvent ce défi en s'appuyant soit sur de grandes quantités de démonstrations couvrant les variations de l'environnement, soit sur des fonctions de récompense conçues à la main qui nécessitent des estimations d'état. Aucune de ces deux directions ne passe à l'échelle pour une imitation rapide. Dans ce travail, nous présentons Fast Imitation of Skills from Humans (FISH), une nouvelle approche d'apprentissage par imitation capable d'apprendre des compétences visuelles robustes avec moins d'une minute de démonstrations humaines. Étant donné une politique de base faible entraînée par imitation hors ligne des démonstrations, FISH calcule des récompenses qui correspondent à la "correspondance" entre le comportement du robot et les démonstrations. Ces récompenses servent ensuite à mettre à jour de manière adaptative une politique résiduelle qui s'ajoute à la politique de base. Sur toutes les tâches, FISH nécessite au plus vingt minutes d'apprentissage interactif pour imiter les démonstrations sur des configurations d'objets absentes des démonstrations. Surtout, FISH est conçu pour être polyvalent, ce qui permet de l'utiliser sur différentes morphologies de robots (par ex. xArm, Allegro, Stretch) et configurations de caméra (par ex. vue à la troisième personne, caméra embarquée sur la main). Nos évaluations expérimentales sur 9 tâches différentes montrent que FISH atteint un taux de réussite moyen de 93 %, soit environ 3,8× plus que les méthodes antérieures de l'état de l'art.

Liens

arXiv 2303.01497: https://arxiv.org/abs/2303.01497
DOI 10.48550/arXiv.2303.01497: https://doi.org/10.48550/arXiv.2303.01497
PDF: https://arxiv.org/pdf/2303.01497v1
Code: https://github.com/siddhanthaldar/FISH
Page du projet: https://fast-imitation.github.io/