LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

Autori: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

GPT-3 con esempi recuperati e ripianificazione ancorata agli oggetti scrive piani di alto livello per ALFRED a partire da 100 esempi etichettati, avvicinandosi a HLSM addestrato su 21.023.

Perché è importante

Il pianificatore chiede all'agente ospite solo un elenco di oggetti e un pianificatore di basso livello e non richiede aggiornamenti dei parametri, quindi può essere collegato a un agente gerarchico esistente. L'ancoraggio proviene da un rilevatore di oggetti preaddestrato anziché da informazioni reali (ground truth) sulla scena, e il senso comune del modello linguistico sostituisce la maggior parte dei dati linguistici accoppiati di cui un pianificatore di alto livello ha normalmente bisogno.

Problema

Gli agenti incarnati che seguono istruzioni apprendono da grandi insiemi di dati accoppiati (istruzione, traiettoria), come migliaia di esempi ALFRED per tipo di compito, costosi da raccogliere. In un agente gerarchico solo il pianificatore di alto livello ha bisogno di dati accoppiati al linguaggio, ma ne richiede comunque molti: riaddestrati su 100 esempi, i pianificatori di HLSM e FILM non completano quasi nessun compito.

Soluzione proposta

LLM-Planner chiede tramite prompt a GPT-3 di scrivere un piano di alto livello, una sequenza di sotto-obiettivi come 'Navigation fridge, OpenObject fridge', usando 9 esempi in contesto scelti tra 100 coppie di addestramento da un retriever a vicini più prossimi basato su embedding BERT, con bias sui logit che orientano l'output verso azioni e oggetti consentiti. Quando un sotto-obiettivo fallisce o richiede troppi passi, interroga di nuovo il modello con i sotto-obiettivi già completati e gli oggetti visti dal rilevatore dell'agente, e il pianificatore di basso livello di HLSM trasforma ogni sotto-obiettivo in azioni primitive.

Idee chiave

Solo il pianificatore di alto livello ha bisogno di dati accoppiati al linguaggio; il pianificatore di basso livello può essere addestrato su dati sintetizzati nel simulatore, quindi l'apprendimento few-shot riguarda solo il pianificatore.
Il recupero dinamico degli esempi in contesto è l'elemento più importante: sostituire il retriever kNN con una selezione casuale fa scendere l'accuratezza della pianificazione di alto livello in LOOCV dal 40,59 % al 17,48 %.
Aggiungere gli oggetti osservati al prompt permette al modello linguistico di associare i nomi a ciò che è nella scena (cestino della raccolta differenziata a bidone della spazzatura, lampada a lampada da scrivania) e di indovinare le posizioni probabili degli oggetti (una patata nel frigorifero, una tazza nell'armadietto).
Il formato del prompt e gli iperparametri sono stati scelti con una cross-validation leave-one-out sugli stessi 100 esempi, senza un insieme di validazione separato (la vera configurazione few-shot).
I fallimenti end-to-end derivano spesso dallo stack di basso livello più che dal piano: Heat & Place raggiunge il 36 % di accuratezza del piano ma l'1,8 % di successo perché il rilevatore di HLSM spesso non individua il microonde.

Risultati principali

Con istruzioni sull'obiettivo e passo per passo, LLM-Planner + HLSM raggiunge un tasso di successo del 15,36 % su ALFRED valid unseen e del 16,42 % su test unseen, usando 100 coppie di addestramento.
Riaddestrati sulle stesse 100 coppie, HLSM e FILM raggiungono un tasso di successo dello 0,00 % su valid unseen e dello 0,61 % e 0,20 % su test unseen.
HLSM addestrato su tutte le 21.023 coppie (solo istruzione sull'obiettivo) ottiene il 18,28 % su valid unseen e il 20,27 % su test unseen; su test unseen, il 16,42 % di LLM-Planner supera E.T. (8,57 %), HiTUT (13,87 %) e M-TRACK (16,29 %) addestrati con tutti i dati.
La ripianificazione ancorata batte la pianificazione statica in ogni configurazione; con le sole istruzioni sull'obiettivo aggiunge 1,83 punti di tasso di successo su test unseen (dall'11,58 % al 13,41 %).
Ablazione dell'accuratezza del piano in LOOCV: modello completo 40,59 %, senza retriever kNN 17,48 %, senza bias sui logit 38,10 %, senza entrambi 13,43 %.
L'accuratezza del piano cresce con più esempi di addestramento, con rendimenti decrescenti intorno a 250; 9 esempi in contesto sono in generale una buona scelta.

Limiti

Gli autori osservano che resta un ampio margine di miglioramento; il successo end-to-end è ancora molto inferiore a quello dei migliori metodi con tutti i dati, come FILM con un tasso di successo del 27,80 % su test unseen.
Il successo è limitato dal pianificatore di basso livello e dal rilevatore di oggetti di HLSM, che LLM-Planner riutilizza senza modifiche.
L'accuratezza del piano nella configurazione dinamica può essere fornita solo come intervallo (per esempio 46,59–68,31 % su valid unseen) perché non era disponibile un controllore oracolo di basso livello.
Valutato solo in simulazione (ALFRED su AI2-THOR); non ci sono esperimenti con robot fisici.
Dipende dall'API di GPT-3; altri modelli linguistici come Codex, una migliore progettazione dei prompt e un ancoraggio e una ripianificazione più solidi sono lasciati a lavori futuri.

Impatto sul settore

L'articolo ha 583 citazioni. Non rilascia codice né dati nella versione con licenza; riutilizza l'API pubblica di GPT-3 e le codebase ufficiali di HLSM e FILM.

Abstract

Questo studio si concentra su agenti incarnati in grado di seguire istruzioni in linguaggio naturale per completare compiti complessi in un ambiente percepito visivamente. I metodi esistenti si basano su una grande quantità di coppie (istruzione, traiettoria di riferimento) per apprendere una buona policy. L'elevato costo dei dati e la scarsa efficienza campionaria impediscono lo sviluppo di agenti versatili, capaci di molti compiti e in grado di apprenderne di nuovi rapidamente. In questo lavoro proponiamo un metodo innovativo, LLM-Planner, che sfrutta la potenza dei grandi modelli linguistici (LLMs) come GPT-3 per effettuare pianificazione few-shot per agenti incarnati. Proponiamo inoltre un modo semplice ma efficace per dotare i LLMs di ancoraggio fisico, così da generare piani ancorati all'ambiente corrente. Gli esperimenti sul dataset ALFRED mostrano che il nostro metodo può ottenere prestazioni few-shot molto competitive, superando persino diverse baseline recenti addestrate con l'intero insieme di dati di addestramento pur usando meno dello 0,5 % dei dati di addestramento accoppiati. I metodi esistenti riescono a malapena a completare con successo qualche compito nella stessa configurazione few-shot. Il nostro lavoro apre la strada allo sviluppo di agenti incarnati versatili ed efficienti in termini di campioni, in grado di apprendere rapidamente molti compiti.

Link

arXiv 2212.04088: https://arxiv.org/abs/2212.04088
DOI https://doi.org/10.1109/iccv51070.2023.00280: https://doi.org/https://doi.org/10.1109/iccv51070.2023.00280
PDF: https://arxiv.org/pdf/2212.04088v1