Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Autores: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar · CoRL 2023

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

KnowNo plantea la planificación con LLM como una pregunta de opción múltiple y aplica predicción conformal, de modo que el robot solo pide ayuda cuando sobrevive más de una opción, con un nivel de éxito fijado por el usuario.

Por qué importa

El usuario fija un nivel de éxito objetivo 1−ϵ, y el método garantiza la finalización de la tarea a ese nivel con alta probabilidad, suponiendo que la ayuda humana es correcta, mientras mantiene pequeño el tamaño medio del conjunto de predicción. Funciona con LLM comerciales sin ajuste fino, y la garantía de cobertura se cumple tanto si las confianzas del LLM están bien calibradas como si no.

Problema

Los planificadores basados en LLM pueden alucinar con total confianza, y las instrucciones en lenguaje natural son a menudo ambiguas, por lo que un robot que sigue un plan equivocado puede actuar de forma insegura, por ejemplo metiendo un bol metálico en un microondas. Los planificadores con LLM anteriores o nunca piden aclaraciones o dependen de un prompting extensivo, y ninguno ofrece una forma de asegurar que pedir ayuda produzca el nivel deseado de éxito en la tarea.

Solución propuesta

El LLM genera primero los siguientes pasos candidatos etiquetados de A a D, se añade una opción 'E) una opción no incluida aquí', y después el LLM puntúa las opciones como una pregunta de opción múltiple mediante las probabilidades del siguiente token. La predicción conformal, calibrada con 400 escenarios i.i.d., fija un umbral de confianza; las opciones que lo superan forman el conjunto de predicción, y el robot ejecuta la única opción restante o, en caso contrario, pide a un humano que elija. Una calibración a nivel de secuencia extiende la garantía a la planificación de varios pasos, y otra extensión trata los pasos con varias opciones aceptables.

Ideas clave

Plantear la planificación como preguntas y respuestas de opción múltiple elimina el sesgo de longitud de las probabilidades de secuencia en bruto; la predicción conformal sobre puntuaciones de frases en bruto o normalizadas por perplejidad dio conjuntos de predicción más grandes y más ayuda en los tres escenarios simulados de ambigüedad.
La garantía de cobertura de la predicción conformal se convierte en una garantía de finalización de la tarea cuando el robot pide ayuda siempre que el conjunto de predicción contiene más de una opción.
Calibrar sobre secuencias completas, puntuadas por la confianza más baja por paso, permite construir los conjuntos de predicción paso a paso en el momento de la prueba manteniendo una garantía sobre el plan completo.
La garantía no supone nada sobre la calibración del LLM: con GPT-3.5, que mostró un sesgo hacia las opciones D y E, KnowNo cumplió igualmente el objetivo pidiendo más ayuda humana.
Un método de referencia de ensemble puede alcanzar un éxito alto con poca ayuda, pero necesita 20× el tiempo de inferencia y a veces asigna probabilidad cero a la opción correcta.

Resultados principales

En los entornos simulados y con hardware, KnowNo cumplió el nivel de finalización de tareas especificado por el usuario y redujo la ayuda humana entre un 10 y un 24 % frente a los métodos de referencia.
Reordenación sobre una mesa simulada en PyBullet (ϵ = 0,15): KnowNo fue el que menos se desvió de la tasa de éxito objetivo con ambigüedad de atributos, numérica y espacial, y necesitó hasta un 24 % menos de ayuda que Simple Set en algunos niveles de éxito.
Clasificación de varios pasos con hardware en un UR5 (ϵ = 0,25, 50 ensayos): éxito en la tarea de 0,74, tamaño del conjunto de 1,72, ayuda por paso de 0,58 y ayuda por ensayo de 0,92, frente a 0,72, 2,04, 0,72 y 1,00 de Simple Set con el mismo éxito del plan de 0,76; No Help alcanzó un éxito en la tarea de 0,38.
Manipulación móvil con hardware en la cocina de una oficina (ϵ = 0,15): éxito del plan de 0,87, éxito en la tarea de 0,76, tamaño del conjunto de 2,22 y tasa de ayuda de 0,67, frente a 0,75, 2,38 y 0,81 de Simple Set; No Help alcanzó 0,62 de éxito del plan y 0,51 de éxito en la tarea.
Configuración bimanual con Kuka IIWA 7 con instrucciones todas ambiguas (ϵ = 0,15): 84 % de éxito del plan con un 92 % de ayuda; con hardware, el robot tuvo éxito en 9 de 10 ensayos y pidió ayuda 9 veces.
Fijar Simple Set al mismo ϵ = 0,25 en la tarea del UR5 lo volvió demasiado conservador, con una tasa de ayuda por paso del 87 %.

Limitaciones

Según los autores: la garantía de finalización de la tarea supone que el entorno está completamente reflejado en el texto de entrada del LLM y que las acciones que propone el LLM se ejecutan con éxito.
La incertidumbre de la percepción y de la política de bajo nivel no forma parte de la calibración; en el manipulador móvil, el éxito de las acciones de bajo nivel fue de alrededor del 86 %, lo que causó diferencias entre el éxito del plan y el de la tarea.
El método necesita un conjunto de calibración etiquetado de escenarios i.i.d. (se usaron 400) extraídos de la misma distribución que los escenarios de prueba.
La garantía supone que el humano da una ayuda correcta, y el robot falla cuando la opción correcta no está en el conjunto de predicción.
GPT-3.5 (text-davinci-003) mostró un fuerte sesgo de posición en las preguntas de opción múltiple, lo que redujo el rendimiento y aumentó la ayuda necesaria.

Impacto en el campo

Ganador del CoRL 2023 Best Student Paper Award; citado 515 veces (cifra tal como se indica). La página oficial del proyecto enlaza el código en el repositorio google-research, y el artículo remite a los prompts en el sitio web del proyecto.

Resumen

Los grandes modelos de lenguaje (LLM) muestran una amplia gama de capacidades prometedoras, desde la planificación paso a paso hasta el razonamiento de sentido común, que pueden ser útiles para los robots, pero siguen siendo propensos a predicciones alucinadas con total confianza. En este trabajo presentamos KnowNo, un marco para medir y alinear la incertidumbre de los planificadores basados en LLM de modo que sepan cuándo no saben y pidan ayuda cuando sea necesario. KnowNo se basa en la teoría de la predicción conformal para ofrecer garantías estadísticas de finalización de tareas mientras minimiza la ayuda humana en entornos complejos de planificación de varios pasos. Los experimentos en diversas configuraciones simuladas y con robots reales, que incluyen tareas con distintos modos de ambigüedad (p. ej., desde incertidumbres espaciales hasta numéricas, desde preferencias humanas hasta esquemas de Winograd), muestran que KnowNo se compara favorablemente con métodos de referencia modernos (que pueden implicar ensembles o un ajuste extensivo de prompts) en cuanto a mejorar la eficiencia y la autonomía, a la vez que ofrece garantías formales. KnowNo puede usarse con LLM tal cual, sin ajuste fino del modelo, y sugiere un enfoque ligero y prometedor para modelar la incertidumbre que puede complementar y escalar con las crecientes capacidades de los modelos fundacionales. Sitio web: https://robot-help.github.io

Enlaces

arXiv 2307.01928: https://arxiv.org/abs/2307.01928
DOI 10.48550/arXiv.2307.01928: https://doi.org/10.48550/arXiv.2307.01928
PDF: https://arxiv.org/pdf/2307.01928v1
Código: https://github.com/google-research/google-research/tree/master/language_model_uncertainty
Página del proyecto: https://robot-help.github.io/