LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

Autores: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

GPT-3 con ejemplos recuperados y replanificación anclada en los objetos escribe planes de alto nivel para ALFRED a partir de 100 ejemplos etiquetados, acercándose a HLSM entrenado con 21 023.

Por qué importa

El planificador solo pide al agente anfitrión una lista de objetos y un planificador de bajo nivel, y no necesita actualizar parámetros, por lo que puede acoplarse a un agente jerárquico existente. El anclaje procede de un detector de objetos preentrenado y no de información real (ground truth) de la escena, y el sentido común del modelo de lenguaje sustituye la mayor parte de los datos de lenguaje emparejados que normalmente necesita un planificador de alto nivel.

Problema

Los agentes corporizados que siguen instrucciones aprenden de grandes conjuntos de datos emparejados (instrucción, trayectoria), como miles de ejemplos de ALFRED por tipo de tarea, cuya recogida es costosa. En un agente jerárquico solo el planificador de alto nivel necesita datos emparejados con lenguaje, pero aun así necesita muchos: reentrenados con 100 ejemplos, los planificadores de HLSM y FILM apenas completan ninguna tarea.

Solución propuesta

LLM-Planner pide mediante un prompt a GPT-3 que escriba un plan de alto nivel, una secuencia de subobjetivos como 'Navigation fridge, OpenObject fridge', usando 9 ejemplos en contexto elegidos entre 100 pares de entrenamiento por un recuperador de vecinos más cercanos basado en embeddings de BERT, con sesgos de logits que orientan la salida hacia acciones y objetos permitidos. Cuando un subobjetivo falla o lleva demasiados pasos, vuelve a consultar al modelo con los subobjetivos ya completados y los objetos que ha visto el detector del agente, y el planificador de bajo nivel de HLSM convierte cada subobjetivo en acciones primitivas.

Ideas clave

• Solo el planificador de alto nivel necesita datos emparejados con lenguaje; el planificador de bajo nivel puede entrenarse con datos sintetizados en el simulador, de modo que el aprendizaje few-shot se dirige únicamente al planificador.
• La recuperación dinámica de ejemplos en contexto es lo que más importa: sustituir el recuperador kNN por una selección aleatoria hace caer la precisión de planificación de alto nivel en LOOCV del 40,59 % al 17,48 %.
• Añadir los objetos observados al prompt permite al modelo de lenguaje relacionar nombres con lo que hay en la escena (papelera de reciclaje con cubo de basura, lámpara con lámpara de escritorio) y adivinar ubicaciones probables de los objetos (una patata en el frigorífico, una taza en el armario).
• El formato del prompt y los hiperparámetros se eligieron mediante validación cruzada dejando uno fuera sobre los mismos 100 ejemplos, sin conjunto de validación aparte (la configuración few-shot verdadera).
• Los fallos de extremo a extremo suelen deberse a la pila de bajo nivel y no al plan: Heat & Place alcanza un 36 % de precisión del plan pero un 1,8 % de éxito porque el detector de HLSM a menudo no detecta el microondas.

Resultados principales

• Con instrucciones de objetivo y paso a paso, LLM-Planner + HLSM alcanza una tasa de éxito del 15,36 % en ALFRED valid unseen y del 16,42 % en test unseen, usando 100 pares de entrenamiento.
• Reentrenados con los mismos 100 pares, HLSM y FILM alcanzan una tasa de éxito del 0,00 % en valid unseen y del 0,61 % y 0,20 % en test unseen.
• HLSM entrenado con los 21 023 pares (solo instrucción de objetivo) obtiene un 18,28 % en valid unseen y un 20,27 % en test unseen; en test unseen, el 16,42 % de LLM-Planner supera a E.T. (8,57 %), HiTUT (13,87 %) y M-TRACK (16,29 %) con todos los datos.
• La replanificación anclada supera a la planificación estática en todas las configuraciones; solo con instrucciones de objetivo añade 1,83 puntos de tasa de éxito en test unseen (del 11,58 % al 13,41 %).
• Ablación de la precisión del plan en LOOCV: modelo completo 40,59 %, sin recuperador kNN 17,48 %, sin sesgos de logits 38,10 %, sin ambos 13,43 %.
• La precisión del plan aumenta con más ejemplos de entrenamiento, con rendimientos decrecientes en torno a 250; 9 ejemplos en contexto es en general una buena elección.

Limitaciones

• Los autores señalan que sigue habiendo mucho margen de mejora; el éxito de extremo a extremo sigue muy por debajo de los mejores métodos con todos los datos, como FILM con una tasa de éxito del 27,80 % en test unseen.
• El éxito está limitado por el planificador de bajo nivel y el detector de objetos de HLSM, que LLM-Planner reutiliza sin cambios.
• La precisión del plan en la configuración dinámica solo puede darse como un rango (por ejemplo, 46,59–68,31 % en valid unseen) porque no se disponía de un controlador oráculo de bajo nivel.
• Evaluado solo en simulación (ALFRED en AI2-THOR); no hay experimentos con robots físicos.
• Depende de la API de GPT-3; otros modelos de lenguaje como Codex, un mejor diseño de prompts y un anclaje y una replanificación más sólidos quedan para trabajo futuro.

Impacto en el campo

El artículo tiene 583 citas. No publica código ni datos en la versión con licencia; reutiliza la API pública de GPT-3 y los repositorios de código oficiales de HLSM y FILM.

Resumen

Este estudio se centra en agentes corporizados capaces de seguir instrucciones en lenguaje natural para completar tareas complejas en un entorno percibido visualmente. Los métodos existentes dependen de una gran cantidad de pares (instrucción, trayectoria de referencia) para aprender una buena política. El elevado coste de los datos y la escasa eficiencia de muestras impiden el desarrollo de agentes versátiles capaces de realizar muchas tareas y de aprender tareas nuevas rápidamente. En este trabajo proponemos un método novedoso, LLM-Planner, que aprovecha la potencia de los grandes modelos de lenguaje (LLMs) como GPT-3 para hacer planificación few-shot para agentes corporizados. Proponemos además una forma sencilla pero eficaz de dotar a los LLMs de anclaje físico para generar planes anclados en el entorno actual. Los experimentos en el conjunto de datos ALFRED muestran que nuestro método puede lograr un rendimiento few-shot muy competitivo, superando incluso a varias líneas base recientes entrenadas con todos los datos de entrenamiento pese a usar menos del 0,5 % de los datos de entrenamiento emparejados. Los métodos existentes apenas pueden completar con éxito ninguna tarea en la misma configuración few-shot. Nuestro trabajo abre la puerta al desarrollo de agentes corporizados versátiles y eficientes en muestras que puedan aprender muchas tareas rápidamente.

Enlaces

• arXiv 2212.04088: https://arxiv.org/abs/2212.04088
• DOI https://doi.org/10.1109/iccv51070.2023.00280: https://doi.org/https://doi.org/10.1109/iccv51070.2023.00280
• PDF: https://arxiv.org/pdf/2212.04088v1