Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Auteurs: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar · CoRL 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

KnowNo formule la planification par LLM comme un QCM et applique la prédiction conforme, de sorte que le robot ne demande de l'aide que lorsque plus d'une option subsiste, à un niveau de réussite fixé par l'utilisateur.

Pourquoi c'est important

L'utilisateur fixe un niveau de réussite cible 1−ϵ, et la méthode garantit avec une forte probabilité l'accomplissement de la tâche à ce niveau, en supposant une aide humaine exacte, tout en gardant petit l'ensemble de prédiction moyen. Elle fonctionne avec des LLM du commerce sans fine-tuning, et la garantie de couverture tient que les confiances du LLM soient bien calibrées ou non.

Problème

Les planificateurs LLM peuvent halluciner avec assurance, et les instructions en langage naturel sont souvent ambiguës, si bien qu'un robot qui suit un mauvais plan peut agir de manière dangereuse, par exemple en mettant un bol métallique au micro-ondes. Les planificateurs LLM antérieurs ne demandent jamais de clarification ou reposent sur un prompting poussé, et aucun n'offre de moyen de garantir que demander de l'aide aboutit à un niveau souhaité de réussite des tâches.

Solution proposée

Le LLM génère d'abord des candidats pour l'étape suivante étiquetés A–D, une option 'E) une option qui ne figure pas ici' est ajoutée, puis le LLM note les options comme une question à choix multiples au moyen des probabilités du token suivant. La prédiction conforme, calibrée sur 400 scénarios i.i.d., fixe un seuil de confiance ; les options au-dessus forment l'ensemble de prédiction, et le robot exécute l'unique option restante ou, sinon, demande à un humain de choisir. Une calibration au niveau de la séquence étend la garantie à la planification en plusieurs étapes, et une extension supplémentaire traite les étapes comportant plusieurs options acceptables.

Idées clés

• Formuler la planification comme un Q&A à choix multiples supprime le biais de longueur des probabilités brutes de séquence ; la prédiction conforme sur des scores de phrase bruts ou normalisés par la perplexité a donné des ensembles de prédiction plus grands et davantage d'aide dans les trois contextes d'ambiguïté simulés.
• La garantie de couverture de la prédiction conforme devient une garantie d'accomplissement de la tâche lorsque le robot demande de l'aide chaque fois que l'ensemble de prédiction contient plus d'une option.
• Calibrer sur des séquences entières, notées par la confiance la plus faible par étape, permet de construire les ensembles de prédiction étape par étape au moment du test tout en conservant une garantie sur l'ensemble du plan.
• La garantie ne fait aucune hypothèse sur la calibration du LLM : avec GPT-3.5, qui montrait un biais en faveur des options D et E, KnowNo a tout de même atteint la cible en sollicitant davantage l'aide humaine.
• Une méthode de référence par ensemble peut atteindre un taux de réussite élevé avec peu d'aide, mais elle nécessite 20× le temps d'inférence et attribue parfois une probabilité nulle à la bonne option.

Principaux résultats

• Dans les contextes simulés comme matériels, KnowNo a atteint le niveau d'accomplissement des tâches spécifié par l'utilisateur tout en réduisant l'aide humaine de 10–24 % par rapport aux méthodes de référence.
• Réarrangement sur table simulé dans PyBullet (ϵ = 0,15) : KnowNo s'écartait le moins du taux de réussite cible pour les ambiguïtés d'attribut, numériques et spatiales, et nécessitait jusqu'à 24 % d'aide en moins que Simple Set à certains niveaux de réussite.
• Tri en plusieurs étapes sur matériel avec un UR5 (ϵ = 0,25, 50 essais) : réussite de la tâche 0,74, taille d'ensemble 1,72, aide par étape 0,58 et aide par essai 0,92, contre 0,72, 2,04, 0,72 et 1,00 pour Simple Set à réussite de plan égale de 0,76 ; No Help a atteint 0,38 de réussite de la tâche.
• Manipulation mobile sur matériel dans une cuisine de bureau (ϵ = 0,15) : réussite du plan 0,87, réussite de la tâche 0,76, taille d'ensemble 2,22 et taux d'aide 0,67, contre 0,75, 2,38 et 0,81 pour Simple Set ; No Help a atteint 0,62 de réussite du plan et 0,51 de réussite de la tâche.
• Dispositif bimanuel Kuka IIWA 7 avec des instructions toutes ambiguës (ϵ = 0,15) : 84 % de réussite du plan avec 92 % d'aide ; sur matériel, le robot a réussi 9 essais sur 10 et a demandé de l'aide 9 fois.
• Régler Simple Set sur le même ϵ = 0,25 pour la tâche UR5 l'a rendu trop conservateur, avec un taux d'aide par étape de 87 %.

Limites

• Selon les auteurs : la garantie d'accomplissement suppose que l'environnement est entièrement décrit dans le texte fourni au LLM et que les actions proposées par le LLM s'exécutent avec succès.
• L'incertitude de la perception et de la politique de bas niveau ne fait pas partie de la calibration ; sur le manipulateur mobile, la réussite des actions de bas niveau était d'environ 86 %, ce qui a créé des écarts entre réussite du plan et réussite de la tâche.
• La méthode nécessite un ensemble de calibration étiqueté de scénarios i.i.d. (400 ont été utilisés) tirés de la même distribution que les scénarios de test.
• La garantie suppose que l'humain fournit une aide exacte, et le robot échoue lorsque la bonne option n'est pas dans l'ensemble de prédiction.
• GPT-3.5 (text-davinci-003) a montré un fort biais de position dans les choix multiples, ce qui a réduit les performances et augmenté l'aide nécessaire.

Impact sur le domaine

Lauréat du CoRL 2023 Best Student Paper Award ; cité 515 fois (nombre tel qu'indiqué). La page officielle du projet renvoie au code dans le dépôt google-research, et l'article renvoie aux prompts sur le site du projet.

Résumé

Les grands modèles de langage (LLMs) présentent un large éventail de capacités prometteuses, de la planification étape par étape au raisonnement de sens commun, qui peuvent être utiles aux robots, mais restent sujets à des prédictions hallucinées avec assurance. Dans ce travail, nous présentons KnowNo, un cadre pour mesurer et aligner l'incertitude des planificateurs fondés sur des LLM afin qu'ils sachent quand ils ne savent pas et demandent de l'aide lorsque c'est nécessaire. KnowNo s'appuie sur la théorie de la prédiction conforme pour fournir des garanties statistiques sur l'accomplissement des tâches tout en minimisant l'aide humaine dans des contextes complexes de planification en plusieurs étapes. Des expériences sur divers dispositifs robotiques simulés et réels, impliquant des tâches présentant différents modes d'ambiguïté (par ex. des incertitudes spatiales aux incertitudes numériques, des préférences humaines aux schémas de Winograd), montrent que KnowNo se compare favorablement aux méthodes de référence modernes (qui peuvent impliquer des ensembles ou un ajustement poussé des prompts) en matière d'efficacité et d'autonomie, tout en offrant des assurances formelles. KnowNo peut être utilisé directement avec des LLM sans fine-tuning du modèle, et suggère une approche légère et prometteuse de la modélisation de l'incertitude, capable de compléter les capacités croissantes des modèles de fondation et de suivre leur montée en puissance. Site web : https://robot-help.github.io

Liens

• arXiv 2307.01928: https://arxiv.org/abs/2307.01928
• DOI 10.48550/arXiv.2307.01928: https://doi.org/10.48550/arXiv.2307.01928
• PDF: https://arxiv.org/pdf/2307.01928v1
• Code: https://github.com/google-research/google-research/tree/master/language_model_uncertainty
• Page du projet: https://robot-help.github.io/