Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Autores: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar · CoRL 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O KnowNo formula o planejamento com LLM como múltipla escolha e aplica predição conformal, de modo que o robô só pede ajuda quando mais de uma opção sobrevive, em um nível de sucesso definido pelo usuário.

Por que importa

O usuário define um nível de sucesso alvo 1−ϵ, e o método garante a conclusão da tarefa nesse nível com alta probabilidade, supondo que a ajuda humana seja correta, enquanto mantém pequeno o tamanho médio do conjunto de predição. Funciona com LLMs prontos para uso sem ajuste fino, e a garantia de cobertura vale quer as confianças do LLM estejam bem calibradas ou não.

Problema

Planejadores baseados em LLM podem alucinar com total confiança, e instruções em linguagem natural costumam ser ambíguas, então um robô que segue um plano errado pode agir de forma insegura, por exemplo colocando uma tigela de metal em um micro-ondas. Planejadores com LLM anteriores ou nunca pedem esclarecimentos ou dependem de prompting extensivo, e nenhum oferece uma forma de garantir que pedir ajuda resulte no nível desejado de sucesso na tarefa.

Solução proposta

O LLM primeiro gera as próximas etapas candidatas rotuladas de A a D, uma opção 'E) uma opção não listada aqui' é acrescentada, e o LLM então pontua as opções como uma questão de múltipla escolha por meio das probabilidades do próximo token. A predição conformal, calibrada em 400 cenários i.i.d., define um limiar de confiança; as opções acima dele formam o conjunto de predição, e o robô executa a única opção restante ou, caso contrário, pede a um humano que escolha. Uma calibração em nível de sequência estende a garantia ao planejamento em várias etapas, e uma extensão adicional trata etapas com várias opções aceitáveis.

Principais ideias

Formular o planejamento como perguntas e respostas de múltipla escolha remove o viés de comprimento das probabilidades brutas de sequência; a predição conformal sobre pontuações brutas de frases ou normalizadas por perplexidade gerou conjuntos de predição maiores e mais ajuda nos três cenários simulados de ambiguidade.
A garantia de cobertura da predição conformal se torna uma garantia de conclusão da tarefa quando o robô pede ajuda sempre que o conjunto de predição contém mais de uma opção.
Calibrar sobre sequências inteiras, pontuadas pela menor confiança por etapa, permite construir os conjuntos de predição etapa por etapa no momento do teste, mantendo uma garantia sobre o plano completo.
A garantia não faz nenhuma suposição sobre a calibração do LLM: com o GPT-3.5, que mostrou viés para as opções D e E, o KnowNo ainda atingiu o alvo acionando mais ajuda humana.
Uma baseline de ensemble pode atingir alto sucesso com pouca ajuda, mas precisa de 20× o tempo de inferência e às vezes atribui probabilidade zero à opção correta.

Principais resultados

Nos cenários simulados e com hardware, o KnowNo atingiu o nível de conclusão de tarefa especificado pelo usuário e reduziu a ajuda humana em 10 a 24 % em comparação com as baselines.
Reorganização sobre mesa simulada no PyBullet (ϵ = 0,15): o KnowNo foi o que menos se desviou da taxa de sucesso alvo com ambiguidade de atributos, numérica e espacial, e precisou de até 24 % menos ajuda que o Simple Set em alguns níveis de sucesso.
Separação em várias etapas com hardware em um UR5 (ϵ = 0,25, 50 ensaios): sucesso na tarefa de 0,74, tamanho do conjunto de 1,72, ajuda por etapa de 0,58 e ajuda por ensaio de 0,92, contra 0,72, 2,04, 0,72 e 1,00 do Simple Set com o mesmo sucesso do plano de 0,76; o No Help atingiu 0,38 de sucesso na tarefa.
Manipulação móvel com hardware na cozinha de um escritório (ϵ = 0,15): sucesso do plano de 0,87, sucesso na tarefa de 0,76, tamanho do conjunto de 2,22 e taxa de ajuda de 0,67, contra 0,75, 2,38 e 0,81 do Simple Set; o No Help atingiu 0,62 de sucesso do plano e 0,51 de sucesso na tarefa.
Configuração bimanual com Kuka IIWA 7 e instruções todas ambíguas (ϵ = 0,15): 84 % de sucesso do plano com 92 % de ajuda; no hardware, o robô teve sucesso em 9 de 10 ensaios e pediu ajuda 9 vezes.
Configurar o Simple Set com o mesmo ϵ = 0,25 na tarefa do UR5 o tornou conservador demais, com taxa de ajuda por etapa de 87 %.

Limitações

Segundo os autores: a garantia de conclusão da tarefa supõe que o ambiente esteja totalmente representado no texto de entrada do LLM e que as ações propostas pelo LLM sejam executadas com sucesso.
A incerteza da percepção e da política de baixo nível não faz parte da calibração; no manipulador móvel, o sucesso das ações de baixo nível foi de cerca de 86 %, o que causou diferenças entre o sucesso do plano e o da tarefa.
O método precisa de um conjunto de calibração rotulado de cenários i.i.d. (foram usados 400) extraídos da mesma distribuição dos cenários de teste.
A garantia supõe que o humano dê ajuda correta, e o robô falha quando a opção correta não está no conjunto de predição.
O GPT-3.5 (text-davinci-003) mostrou forte viés de posição em múltipla escolha, o que reduziu o desempenho e aumentou a ajuda necessária.

Impacto na área

Vencedor do CoRL 2023 Best Student Paper Award; citado 515 vezes (número conforme informado). A página oficial do projeto traz o link para o código no repositório google-research, e o artigo indica os prompts no site do projeto.

Resumo

Grandes modelos de linguagem (LLMs) exibem uma ampla gama de capacidades promissoras, do planejamento passo a passo ao raciocínio de senso comum, que podem ser úteis para robôs, mas continuam propensos a previsões alucinadas com total confiança. Neste trabalho, apresentamos o KnowNo, um framework para medir e alinhar a incerteza de planejadores baseados em LLM de modo que eles saibam quando não sabem e peçam ajuda quando necessário. O KnowNo se baseia na teoria da predição conformal para fornecer garantias estatísticas de conclusão da tarefa enquanto minimiza a ajuda humana em cenários complexos de planejamento em várias etapas. Experimentos em diversas configurações simuladas e com robôs reais, envolvendo tarefas com diferentes modos de ambiguidade (por exemplo, de incertezas espaciais a numéricas, de preferências humanas a esquemas de Winograd), mostram que o KnowNo se sai bem em comparação com baselines modernas (que podem envolver ensembles ou ajuste extensivo de prompts) em termos de melhorar a eficiência e a autonomia, ao mesmo tempo em que oferece garantias formais. O KnowNo pode ser usado com LLMs prontos para uso, sem ajuste fino do modelo, e sugere uma abordagem leve e promissora para modelar a incerteza que pode complementar e escalar com as crescentes capacidades dos modelos de fundação. Site: https://robot-help.github.io

Open Source Robotics