Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Autori: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar · CoRL 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

KnowNo formula la pianificazione con LLM come una domanda a scelta multipla e applica la predizione conforme, così il robot chiede aiuto solo quando sopravvive più di un'opzione, a un livello di successo fissato dall'utente.

Perché è importante

L'utente fissa un livello di successo obiettivo 1−ϵ, e il metodo garantisce il completamento del compito a quel livello con alta probabilità, assumendo un aiuto umano corretto, mantenendo piccola la dimensione media dell'insieme di predizione. Funziona con LLM pronti all'uso senza fine-tuning, e la garanzia di copertura vale indipendentemente dal fatto che le confidenze dell'LLM siano ben calibrate.

Problema

I pianificatori basati su LLM possono avere allucinazioni formulate con sicurezza, e le istruzioni in linguaggio naturale sono spesso ambigue, quindi un robot che segue un piano sbagliato può agire in modo non sicuro, per esempio mettendo una ciotola di metallo nel microonde. I precedenti pianificatori con LLM o non chiedono mai chiarimenti o si affidano a un ampio prompting, e nessuno offre un modo per garantire che chiedere aiuto porti al livello desiderato di successo nel compito.

Soluzione proposta

L'LLM genera prima i passi successivi candidati etichettati da A a D, viene aggiunta un'opzione 'E) un'opzione non elencata qui', e poi l'LLM valuta le opzioni come una domanda a scelta multipla tramite le probabilità del token successivo. La predizione conforme, calibrata su 400 scenari i.i.d., fissa una soglia di confidenza; le opzioni al di sopra formano l'insieme di predizione, e il robot esegue l'unica opzione rimasta oppure, altrimenti, chiede a un essere umano di scegliere. Una calibrazione a livello di sequenza estende la garanzia alla pianificazione a più passi, e un'ulteriore estensione gestisce i passi con più opzioni accettabili.

Idee chiave

• Formulare la pianificazione come domande e risposte a scelta multipla elimina il bias di lunghezza delle probabilità di sequenza grezze; la predizione conforme su punteggi di frase grezzi o normalizzati per perplessità ha dato insiemi di predizione più grandi e più richieste di aiuto in tutti e tre i contesti simulati di ambiguità.
• La garanzia di copertura della predizione conforme diventa una garanzia di completamento del compito quando il robot chiede aiuto ogni volta che l'insieme di predizione contiene più di un'opzione.
• Calibrare su sequenze intere, valutate in base alla confidenza più bassa per passo, consente di costruire gli insiemi di predizione passo per passo al momento del test mantenendo una garanzia sull'intero piano.
• La garanzia non fa alcuna ipotesi sulla calibrazione dell'LLM: con GPT-3.5, che ha mostrato un bias verso le opzioni D ed E, KnowNo ha comunque raggiunto l'obiettivo chiedendo più aiuto umano.
• Una baseline a ensemble può raggiungere un successo elevato con poco aiuto, ma richiede 20× il tempo di inferenza e a volte assegna probabilità zero all'opzione corretta.

Risultati principali

• Nei contesti simulati e su hardware, KnowNo ha raggiunto il livello di completamento dei compiti specificato dall'utente riducendo l'aiuto umano del 10-24 % rispetto alle baseline.
• Riordino su tavolo simulato in PyBullet (ϵ = 0,15): KnowNo si è discostato meno degli altri dal tasso di successo obiettivo con ambiguità di attributo, numerica e spaziale, e ha richiesto fino al 24 % di aiuto in meno rispetto a Simple Set ad alcuni livelli di successo.
• Smistamento a più passi su hardware con un UR5 (ϵ = 0,25, 50 prove): successo nel compito di 0,74, dimensione dell'insieme di 1,72, aiuto per passo di 0,58 e aiuto per prova di 0,92, contro 0,72, 2,04, 0,72 e 1,00 di Simple Set allo stesso successo del piano di 0,76; No Help ha raggiunto un successo nel compito di 0,38.
• Manipolazione mobile su hardware nella cucina di un ufficio (ϵ = 0,15): successo del piano di 0,87, successo nel compito di 0,76, dimensione dell'insieme di 2,22 e tasso di aiuto di 0,67, contro 0,75, 2,38 e 0,81 di Simple Set; No Help ha raggiunto 0,62 di successo del piano e 0,51 di successo nel compito.
• Configurazione bimanuale con Kuka IIWA 7 e istruzioni tutte ambigue (ϵ = 0,15): 84 % di successo del piano con il 92 % di aiuto; su hardware il robot è riuscito in 9 prove su 10 e ha chiesto aiuto 9 volte.
• Impostare Simple Set allo stesso ϵ = 0,25 nel compito con l'UR5 lo ha reso eccessivamente conservativo, con un tasso di aiuto per passo dell'87 %.

Limiti

• Secondo gli autori: la garanzia di completamento del compito presuppone che l'ambiente sia interamente rappresentato nel testo in ingresso all'LLM e che le azioni proposte dall'LLM vengano eseguite con successo.
• L'incertezza della percezione e della policy di basso livello non fa parte della calibrazione; sul manipolatore mobile il successo delle azioni di basso livello è stato di circa l'86 %, il che ha causato divari tra il successo del piano e quello del compito.
• Il metodo richiede un insieme di calibrazione etichettato di scenari i.i.d. (ne sono stati usati 400) tratti dalla stessa distribuzione degli scenari di test.
• La garanzia presuppone che l'essere umano fornisca un aiuto corretto, e il robot fallisce quando l'opzione corretta non è nell'insieme di predizione.
• GPT-3.5 (text-davinci-003) ha mostrato un forte bias di posizione nelle domande a scelta multipla, che ha ridotto le prestazioni e aumentato l'aiuto necessario.

Impatto sul settore

Vincitore del CoRL 2023 Best Student Paper Award; citato 515 volte (numero come riportato). La pagina ufficiale del progetto contiene il link al codice nel repository google-research, e l'articolo rimanda ai prompt sul sito del progetto.

Abstract

I modelli linguistici di grandi dimensioni (LLM) mostrano un'ampia gamma di capacità promettenti, dalla pianificazione passo per passo al ragionamento di senso comune, che possono essere utili per i robot, ma restano inclini a previsioni allucinate formulate con sicurezza. In questo lavoro presentiamo KnowNo, un framework per misurare e allineare l'incertezza dei pianificatori basati su LLM in modo che sappiano quando non sanno e chiedano aiuto quando serve. KnowNo si basa sulla teoria della predizione conforme per fornire garanzie statistiche sul completamento dei compiti riducendo al minimo l'aiuto umano in contesti complessi di pianificazione a più passi. Esperimenti su diverse configurazioni simulate e con robot reali, che includono compiti con diverse forme di ambiguità (ad es. da incertezze spaziali a numeriche, da preferenze umane a schemi di Winograd), mostrano che KnowNo si comporta meglio delle baseline moderne (che possono comportare ensemble o un'ampia messa a punto dei prompt) in termini di efficienza e autonomia, fornendo al contempo garanzie formali. KnowNo può essere usato con gli LLM così come sono, senza fine-tuning del modello, e suggerisce un approccio leggero e promettente alla modellazione dell'incertezza che può integrare le crescenti capacità dei modelli fondazionali e scalare con esse. Sito web: https://robot-help.github.io

Link

• arXiv 2307.01928: https://arxiv.org/abs/2307.01928
• DOI 10.48550/arXiv.2307.01928: https://doi.org/10.48550/arXiv.2307.01928
• PDF: https://arxiv.org/pdf/2307.01928v1
• Codice: https://github.com/google-research/google-research/tree/master/language_model_uncertainty
• Pagina del progetto: https://robot-help.github.io/