Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning

Auteurs: Kun Huang, Edward S. Hu, Dinesh Jayaraman · CoRL 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

LIRF entraîne une seconde politique qui agit sur un résultat (tire une porte, pousse une tour, tourne une vanne) pour distinguer le succès de l'échec, et utilise son verdict comme récompense pour la politique de tâche.

Pourquoi c'est important

La spécification de la tâche ne demande toujours que des exemples de réussite, sans démonstrations, récompenses conçues ni capteurs supplémentaires, et pourtant elle fonctionne lorsque la réussite n'est pas visible. Les vérifications apprises peuvent aussi être réutilisées au déploiement pour détecter les exécutions incomplètes et laisser la politique de tâche réessayer.

Problème

Les méthodes de récompense par exemples spécifient une tâche avec des images de résultats réussis, mais de nombreux résultats ne peuvent pas être jugés à partir d'une image passive : un bouchon de bouteille desserré ressemble à un bouchon serré, et un pêne de porte peut être caché derrière la porte. Cet aliasing d'état fait échouer les classifieurs de réussite fondés sur l'image dans les tâches partiellement observables.

Solution proposée

Le robot reçoit des exemples physiques 'manipulables' de réussite, et une politique de fonction de récompense interactive (IRF) est entraînée avec SAC à agir sur ces exemples et sur les résultats d'échec produits par une politique de tâche initiale entraînée par VICE, afin qu'un classifieur sur une seule observation puisse ensuite les distinguer. Le verdict de l'IRF devient la récompense terminale pour entraîner la politique de tâche finale, et la même IRF peut être exécutée après l'exécution dans une boucle exécution-vérification jusqu'à ce qu'elle juge la tâche terminée.

Idées clés

• L'interaction peut révéler une réussite cachée : les IRF apprises tirent sur la porte, poussent le bloc du bas de la tour ou appliquent un petit couple dans le sens antihoraire à la vanne.
• Les classifieurs sur des observations uniques souffrent de l'aliasing d'état, c'est pourquoi VICE et GAIfO obtiennent de mauvais résultats sur ces tâches partiellement observables.
• Un classifieur appliqué à une seule observation après l'interaction suffit à étiqueter le résultat ; un classifieur sur toute la trajectoire de l'IRF n'est pas nécessaire.
• L'IRF n'utilise aucune information privilégiée, de sorte qu'après l'entraînement elle peut servir de vérificateur dans la boucle.
• Une IRF apprise s'est montrée aussi bonne ou meilleure que des vérifications interactives codées à la main (Manual IRF).

Principaux résultats

• Réussite des tâches pour LIRF / LIRF+Verify (Table 1) : verrouillage de porte 0,640 / 0,958, empilement de blocs 0,846 / 0,884, vissage sur robot réel 0,82 / 0,99.
• VICE atteint 0,032, 0,310 et 0,02 sur les trois mêmes tâches, et GAIfO 0,112, 0,275 et 0,0.
• La récompense à partir de l'état de vérité terrain donne 0,714 (porte), 0,956 (blocs) et 0,87 (vissage) : LIRF+Verify la bat sur le verrouillage de porte et le vissage mais pas sur l'empilement de blocs, bien que le texte affirme que LIRF+Verify surpasse toutes les références.
• Précision de classification de la réussite par l'IRF : 0,992 ± 0,006 pour le verrouillage de porte, 0,852 ± 0,023 pour l'empilement de blocs et 0,98 pour le vissage (Table 2).
• Exemples positifs manipulables nécessaires : 1 pour le vissage, 110 pour le verrouillage de porte et 7k pour l'empilement de blocs.
• L'entraînement a demandé environ 2M pas de simulation pour les politiques LIRF de verrouillage de porte et d'empilement, 50k pas (environ 10 heures sur le robot réel) pour le vissage, et environ 20k pas pour chaque politique IRF.

Limites

• LIRF aide surtout lorsque les politiques de tâche entraînées avec des récompenses à image unique échouent la plupart du temps ; dans des cadres entièrement observables, les IRF n'apportent qu'un bénéfice marginal ou nul (selon les auteurs).
• Les exemples positifs doivent être conservés physiquement et présentés au robot ; c'est facile pour le vissage (1 exemple) mais fastidieux pour l'empilement de blocs (7k) (selon les auteurs).
• Dans les deux tâches simulées, les observations 'imitent une vision parfaite' (poses de l'objet et du robot) au lieu d'être des images de caméra.
• Le test sur robot réel consiste en une seule tâche de rotation de vanne, le blocage de la vis étant simulé par un moteur placé sous la vanne.

Impact sur le domaine

Lauréat du CoRL 2022 Best Paper Award, avec 6 citations. L'article indique que tout le code et tous les environnements seront publiés, et la page officielle du projet renvoie vers un dépôt de code public.

Résumé

Les interactions physiques peuvent souvent aider à révéler des informations qui ne sont pas immédiatement apparentes. Par exemple, nous pouvons tirer sur un pied de table pour évaluer s'il est bien fixé, ou retourner une bouteille d'eau pour vérifier qu'elle est étanche. Nous proposons d'entraîner des robots à acquérir automatiquement de tels comportements interactifs, dans le but d'évaluer le résultat d'une tentative d'exécution d'une compétence robotique. Ces évaluations servent à leur tour de "fonctions de récompense interactives" (IRF) pour entraîner des politiques d'apprentissage par renforcement à exécuter la compétence cible, comme visser fermement le pied de table. En outre, même après l'entraînement complet des politiques de tâche, les IRF peuvent servir de mécanismes de vérification qui améliorent l'exécution des tâches en ligne. Pour toute tâche donnée, nos IRF peuvent être entraînées commodément à partir de simples exemples de résultats réussis, et aucune autre spécification n'est nécessaire ensuite pour entraîner la politique de tâche. Dans nos évaluations sur le verrouillage d'une porte et l'empilement de blocs lestés en simulation, et sur le serrage d'une vis sur un robot réel, les IRF permettent de fortes améliorations des performances, surpassant même des références ayant accès à des démonstrations ou à des récompenses soigneusement conçues. Site web du projet : https://sites.google.com/view/lirf-corl-2022/

Liens

• arXiv 2212.08961: https://arxiv.org/abs/2212.08961
• DOI 10.48550/arXiv.2212.08961: https://doi.org/10.48550/arXiv.2212.08961
• PDF: https://proceedings.mlr.press/v205/huang23a/huang23a.pdf
• Code: https://github.com/penn-pal-lab/lirf_public
• Page du projet: https://sites.google.com/view/lirf-corl-2022/