LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

Autores: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O GPT-3 com exemplos recuperados e replanejamento ancorado nos objetos escreve planos de alto nível para o ALFRED a partir de 100 exemplos rotulados, aproximando-se do HLSM treinado com 21.023.

Por que importa

O planejador pede ao agente hospedeiro apenas uma lista de objetos e um planejador de baixo nível e não precisa de atualização de parâmetros, então pode ser acoplado a um agente hierárquico existente. A ancoragem vem de um detector de objetos pré-treinado, e não de informação real (ground truth) da cena, e o senso comum do modelo de linguagem substitui a maior parte dos dados de linguagem pareados de que um planejador de alto nível normalmente precisa.

Problema

Agentes incorporados que seguem instruções aprendem a partir de grandes conjuntos de dados pareados (instrução, trajetória), como milhares de exemplos do ALFRED por tipo de tarefa, cuja coleta é cara. Em um agente hierárquico, apenas o planejador de alto nível precisa de dados pareados com linguagem, mas ainda precisa de muitos: retreinados com 100 exemplos, os planejadores do HLSM e do FILM mal completam qualquer tarefa.

Solução proposta

O LLM-Planner usa um prompt para que o GPT-3 escreva um plano de alto nível, uma sequência de subobjetivos como 'Navigation fridge, OpenObject fridge', usando 9 exemplos em contexto escolhidos entre 100 pares de treinamento por um recuperador de vizinhos mais próximos baseado em embeddings do BERT, com vieses de logits direcionando a saída para ações e objetos permitidos. Quando um subobjetivo falha ou leva passos demais, ele consulta o modelo novamente com os subobjetivos já concluídos e os objetos que o detector do agente viu, e o planejador de baixo nível do HLSM transforma cada subobjetivo em ações primitivas.

Principais ideias

Apenas o planejador de alto nível precisa de dados pareados com linguagem; o planejador de baixo nível pode ser treinado com dados sintetizados no simulador, de modo que o aprendizado few-shot se dirige só ao planejador.
A recuperação dinâmica de exemplos em contexto é o que mais importa: substituir o recuperador kNN por seleção aleatória faz a acurácia de planejamento de alto nível em LOOCV cair de 40,59 % para 17,48 %.
Acrescentar os objetos observados ao prompt permite ao modelo de linguagem associar nomes ao que está na cena (lixeira de reciclagem a lata de lixo, lâmpada a luminária de mesa) e adivinhar locais prováveis dos objetos (uma batata na geladeira, um copo no armário).
O formato do prompt e os hiperparâmetros foram escolhidos por validação cruzada deixando um de fora sobre os mesmos 100 exemplos, sem conjunto de validação separado (a configuração few-shot verdadeira).
Falhas de ponta a ponta muitas vezes vêm da pilha de baixo nível, e não do plano: Heat & Place atinge 36 % de acurácia do plano, mas 1,8 % de sucesso, porque o detector do HLSM muitas vezes não detecta o micro-ondas.

Principais resultados

Com instruções de objetivo e passo a passo, LLM-Planner + HLSM atinge taxa de sucesso de 15,36 % no ALFRED valid unseen e de 16,42 % no test unseen, usando 100 pares de treinamento.
Retreinados com os mesmos 100 pares, HLSM e FILM atingem taxa de sucesso de 0,00 % no valid unseen e de 0,61 % e 0,20 % no test unseen.
O HLSM treinado com todos os 21.023 pares (apenas instrução de objetivo) obtém 18,28 % no valid unseen e 20,27 % no test unseen; no test unseen, os 16,42 % do LLM-Planner ficam acima de E.T. (8,57 %), HiTUT (13,87 %) e M-TRACK (16,29 %) com todos os dados.
O replanejamento ancorado supera o planejamento estático em todas as configurações; apenas com instruções de objetivo, acrescenta 1,83 ponto de taxa de sucesso no test unseen (de 11,58 % para 13,41 %).
Ablação da acurácia do plano em LOOCV: modelo completo 40,59 %, sem recuperador kNN 17,48 %, sem vieses de logits 38,10 %, sem ambos 13,43 %.
A acurácia do plano aumenta com mais exemplos de treinamento, com retornos decrescentes por volta de 250; 9 exemplos em contexto é, em geral, uma boa escolha.

Limitações

Os autores observam que ainda resta muito espaço para melhoria; o sucesso de ponta a ponta continua bem abaixo dos melhores métodos com todos os dados, como o FILM, com taxa de sucesso de 27,80 % no test unseen.
O sucesso é limitado pelo planejador de baixo nível e pelo detector de objetos do HLSM, que o LLM-Planner reutiliza sem alterações.
A acurácia do plano na configuração dinâmica só pode ser dada como um intervalo (por exemplo, 46,59–68,31 % no valid unseen) porque não havia um controlador oráculo de baixo nível disponível.
Avaliado apenas em simulação (ALFRED no AI2-THOR); não há experimentos com robôs físicos.
Depende da API do GPT-3; outros modelos de linguagem, como o Codex, melhor design de prompts e ancoragem e replanejamento mais fortes ficam para trabalhos futuros.

Impacto na área

O artigo tem 583 citações. Não libera código nem dados na versão licenciada; reutiliza a API pública do GPT-3 e as bases de código oficiais do HLSM e do FILM.

Resumo

Este estudo se concentra em agentes incorporados capazes de seguir instruções em linguagem natural para completar tarefas complexas em um ambiente percebido visualmente. Os métodos existentes dependem de uma grande quantidade de pares (instrução, trajetória de referência) para aprender uma boa política. O alto custo de dados e a baixa eficiência amostral impedem o desenvolvimento de agentes versáteis, capazes de muitas tarefas e de aprender novas tarefas rapidamente. Neste trabalho, propomos um método novo, o LLM-Planner, que aproveita o poder de grandes modelos de linguagem (LLMs) como o GPT-3 para fazer planejamento few-shot para agentes incorporados. Propomos ainda uma forma simples, mas eficaz, de dotar os LLMs de ancoragem física para gerar planos ancorados no ambiente atual. Experimentos no conjunto de dados ALFRED mostram que nosso método consegue um desempenho few-shot muito competitivo, superando inclusive várias baselines recentes treinadas com todos os dados de treinamento, apesar de usar menos de 0,5 % dos dados de treinamento pareados. Os métodos existentes mal conseguem completar qualquer tarefa com sucesso na mesma configuração few-shot. Nosso trabalho abre caminho para o desenvolvimento de agentes incorporados versáteis e eficientes em amostras que possam aprender muitas tarefas rapidamente.

Open Source Robotics