LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

Auteurs: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

GPT-3, avec des exemples récupérés et une replanification ancrée dans les objets, rédige des plans de haut niveau pour ALFRED à partir de 100 exemples annotés et se rapproche de HLSM entraîné sur 21 023.

Pourquoi c'est important

Le planificateur ne demande à l'agent hôte qu'une liste d'objets et un planificateur de bas niveau et ne nécessite aucune mise à jour de paramètres, de sorte qu'il peut être greffé sur un agent hiérarchique existant. L'ancrage provient d'un détecteur d'objets préentraîné plutôt que d'informations de scène de vérité terrain, et le sens commun du modèle de langage remplace l'essentiel des données langagières appariées dont un planificateur de haut niveau a normalement besoin.

Problème

Les agents incarnés qui suivent des instructions apprennent à partir de grands ensembles de données appariées (instruction, trajectoire), comme des milliers d'exemples ALFRED par type de tâche, coûteux à collecter. Dans un agent hiérarchique, seul le planificateur de haut niveau a besoin de données appariées au langage, mais il lui en faut encore beaucoup : réentraînés sur 100 exemples, les planificateurs de HLSM et de FILM n'accomplissent presque aucune tâche.

Solution proposée

LLM-Planner invite GPT-3 à rédiger un plan de haut niveau, une séquence de sous-objectifs comme 'Navigation fridge, OpenObject fridge', en utilisant 9 exemples en contexte choisis parmi 100 paires d'entraînement par un récupérateur des plus proches voisins fondé sur des plongements BERT, avec des biais de logits qui orientent la sortie vers les actions et les objets autorisés. Lorsqu'un sous-objectif échoue ou prend trop de pas, il relance le modèle avec les sous-objectifs déjà accomplis et les objets vus par le détecteur de l'agent, et le planificateur de bas niveau de HLSM transforme chaque sous-objectif en actions primitives.

Idées clés

• Seul le planificateur de haut niveau a besoin de données appariées au langage ; le planificateur de bas niveau peut être entraîné sur des données synthétisées dans le simulateur, si bien que l'apprentissage few-shot ne vise que le planificateur.
• La récupération dynamique des exemples en contexte compte le plus : remplacer le récupérateur kNN par une sélection aléatoire fait chuter la précision de planification de haut niveau en LOOCV de 40,59 % à 17,48 %.
• Ajouter les objets observés à l'invite permet au modèle de langage de faire correspondre les noms à ce qui se trouve dans la scène (recycle bin vers garbage can, lamp vers desk lamp) et de deviner l'emplacement probable des objets (une pomme de terre dans le réfrigérateur, une tasse dans le placard).
• Le format de l'invite et les hyperparamètres ont été choisis par validation croisée leave-one-out sur les mêmes 100 exemples, sans ensemble de validation séparé (le véritable cadre few-shot).
• Les échecs de bout en bout proviennent souvent de la pile de bas niveau plutôt que du plan : Heat & Place atteint 36 % de précision du plan mais 1,8 % de réussite parce que le détecteur de HLSM manque souvent le four à micro-ondes.

Principaux résultats

• Avec l'instruction de but et les instructions pas à pas, LLM-Planner + HLSM atteint un taux de réussite de 15,36 % sur ALFRED valid unseen et de 16,42 % sur test unseen, avec 100 paires d'entraînement.
• Réentraînés sur les mêmes 100 paires, HLSM et FILM atteignent un taux de réussite de 0,00 % sur valid unseen et de 0,61 % et 0,20 % sur test unseen.
• HLSM entraîné sur l'ensemble des 21 023 paires (instruction de but seule) obtient 18,28 % sur valid unseen et 20,27 % sur test unseen ; sur test unseen, les 16,42 % de LLM-Planner dépassent E.T. (8,57 %), HiTUT (13,87 %) et M-TRACK (16,29 %) entraînés sur toutes les données.
• La replanification ancrée bat la planification statique dans tous les cadres ; avec les seules instructions de but, elle ajoute 1,83 point de taux de réussite sur test unseen (de 11,58 % à 13,41 %).
• Ablation de la précision du plan en LOOCV : modèle complet 40,59 %, sans récupérateur kNN 17,48 %, sans biais de logits 38,10 %, sans les deux 13,43 %.
• La précision du plan augmente avec le nombre d'exemples d'entraînement, avec des rendements décroissants autour de 250 ; 9 exemples en contexte constituent généralement un bon choix.

Limites

• Les auteurs notent qu'une large marge de progression demeure ; la réussite de bout en bout reste bien inférieure à celle des meilleures méthodes entraînées sur toutes les données, comme FILM avec 27,80 % de taux de réussite sur test unseen.
• La réussite est bornée par le planificateur de bas niveau et le détecteur d'objets de HLSM, que LLM-Planner réutilise sans modification.
• La précision du plan dans le cadre dynamique ne peut être donnée que sous forme d'intervalle (par exemple 46,59–68,31 % sur valid unseen) faute de contrôleur de bas niveau oracle disponible.
• Évalué uniquement en simulation (ALFRED sur AI2-THOR) ; il n'y a aucune expérience sur robot physique.
• Dépend de l'API GPT-3 ; d'autres modèles de langage comme Codex, une meilleure conception des invites ainsi qu'un ancrage et une replanification plus solides sont laissés à des travaux futurs.

Impact sur le domaine

L'article compte 583 citations. Il ne publie ni code ni données dans la version sous licence ; il réutilise l'API publique de GPT-3 et les bases de code officielles de HLSM et de FILM.

Résumé

Cette étude porte sur les agents incarnés capables de suivre des instructions en langage naturel pour accomplir des tâches complexes dans un environnement perçu visuellement. Les méthodes existantes reposent sur une grande quantité de paires (instruction, trajectoire de référence) pour apprendre une bonne politique. Le coût élevé des données et la faible efficacité en échantillons empêchent le développement d'agents polyvalents capables de nombreuses tâches et pouvant apprendre rapidement de nouvelles tâches. Dans ce travail, nous proposons une nouvelle méthode, LLM-Planner, qui exploite la puissance des grands modèles de langage (LLM) tels que GPT-3 pour réaliser une planification few-shot pour des agents incarnés. Nous proposons en outre un moyen simple mais efficace d'enrichir les LLM d'un ancrage physique (grounding) afin de générer des plans ancrés dans l'environnement courant. Les expériences sur le jeu de données ALFRED montrent que notre méthode peut atteindre des performances few-shot très compétitives, surpassant même plusieurs références récentes entraînées sur l'ensemble des données d'entraînement, alors qu'elle utilise moins de 0,5 % des données d'entraînement appariées. Les méthodes existantes ne parviennent presque à accomplir aucune tâche dans le même cadre few-shot. Notre travail ouvre la voie au développement d'agents incarnés polyvalents et efficaces en échantillons, capables d'apprendre rapidement de nombreuses tâches.

Liens

• arXiv 2212.04088: https://arxiv.org/abs/2212.04088
• DOI https://doi.org/10.1109/iccv51070.2023.00280: https://doi.org/https://doi.org/10.1109/iccv51070.2023.00280
• PDF: https://arxiv.org/pdf/2212.04088v1