Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

Autori: Francesco Del Duchetto, Marc Hanheide · IROS 2022

Licenze

Open access
Articolo: CC BY-SA 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY-SA 4.0; la figura è riportata citando gli autori.

In breve

Lindsey, un robot guida museale, adatta online i suoi tour con UCBVI usando come ricompensa il coinvolgimento dei visitatori stimato dalla telecamera, aumentando del 22,8 % i reperti visitati e di circa il 30 % i tour completati.

Perché è importante

L'apprendimento avviene su un robot reale in uno spazio pubblico non strutturato, dove visitatori non addestrati possono interrompere o andarsene in qualsiasi momento, e non in laboratorio o in simulazione. Usa come unico feedback un segnale di coinvolgimento stimato automaticamente, senza fasi separate di raccolta dati e di addestramento. Un ritorno di due settimane alla policy statica dopo l'apprendimento verifica che i miglioramenti siano dovuti alla policy appresa e non ad altri effetti, come il comportamento dei visitatori dopo il lockdown.

Problema

Lindsey aveva condotto oltre 2.300 tour in 103 giorni al museo The Collection di Lincoln, Regno Unito, ma solo circa il 18 % è stato completato dai visitatori. Un robot sociale deve imparare dall'esperienza come le sue azioni influenzano gli utenti, ma l'obiettivo, il coinvolgimento dell'utente, è uno stato interno che si può solo stimare dai sensori. Inoltre l'esplorazione su un robot reale costa tempo ed è limitata dalla dinamica del mondo reale.

Soluzione proposta

I tour sono specificati come piani a reti di Petri le cui azioni (andare a un reperto, descriverlo, descriverlo più nel dettaglio, terminare il tour) sono vincolate a sequenze di successori valide. Un modello di regressione end-to-end sulla GPU del robot stima il coinvolgimento dalla telecamera a circa 1 Hz; la sua media su ciascuna azione viene classificata in LOW, MEDIUM o HIGH e usata sia nello stato sia come ricompensa. L'algoritmo Upper-Confidence-Bound Value Iteration (UCBVI), con i conteggi di visita inizializzati a partire da migliaia di tour con la policy statica originale e un bonus di esplorazione fissato da σ = 20, aggiorna la policy dopo ogni tour.

Idee chiave

I visitatori che mostrano un coinvolgimento LOW alla prima tappa hanno circa il 20 % di probabilità in meno di continuare il tour, il che motiva l'uso del coinvolgimento per scegliere le azioni.
La policy appresa riordina i reperti e decide quando dare descrizioni aggiuntive: le dà più spesso all'inizio del tour e, più avanti, solo quando il coinvolgimento è MEDIUM o HIGH.
Inizializzare UCBVI con i tour della policy statica riusa quei dati, mentre il bonus indirizza l'esplorazione verso le coppie stato–azione meno esplorate; il bonus fa anche ripetere al robot un'azione poco esplorata in tour consecutivi prima di provarne una nuova, cosa che gli autori hanno trovato utile per un comportamento coerente.
Poiché la ricompensa è sempre positiva, la funzione di ricompensa favorisce implicitamente i tour più lunghi.

Risultati principali

Durante la fase di apprendimento di 8 settimane il numero medio di reperti visitati per tour è aumentato del 22,8 % rispetto al precedente periodo con policy statica, ed è tornato al livello precedente nella fase di verifica di 2 settimane con la policy statica.
Il tasso di successo dei tour (tour che toccano tutte le tappe) è aumentato di oltre il 30 % rispetto al tour statico; l'abstract lo indica come un aumento del 30 % della probabilità di completare il tour.
Con la policy appresa, il coinvolgimento è rimasto stabile tra azioni consecutive quasi il 50 % delle volte, contro probabilità all'incirca uguali di aumentare, diminuire o restare stabile in precedenza.
All'inizio del 2022 l'esplorazione aveva raggiunto solo circa il 13 % dello spazio stato–azione; una prosecuzione simulata di 5 settimane ha mostrato che il numero di nuovi stati esplorabili diminuiva nel tempo.
Il coinvolgimento medio rilevato è diminuito durante la fase di apprendimento rispetto ai periodi precedente e di verifica.

Limiti

È stata esplorata solo una frazione dello spazio stato–azione, e gli autori affermano che in questo contesto reale un'esplorazione completa non è praticamente ottenibile; alcuni stati si possono raggiungere solo quando il comportamento degli utenti lo consente.
Il coinvolgimento rilevato è calato dopo la riapertura del museo dal lockdown per il COVID, forse perché l'uso della mascherina influisce sul modello di coinvolgimento; lo studio copre quasi tre anni con molti fattori che influenzano il comportamento dei visitatori.
Il bonus di UCBVI non riesce a riconoscere quando le stime per le aree ben esplorate diventano obsolete perché cambiano le preferenze degli utenti; gli autori propongono come lavoro futuro un bonus basato sulla divergenza dalle stime passate.
A parte una diminuzione complessiva del disimpegno, gli autori non trovano altre differenze significative nelle interruzioni o negli abbandoni dei tour tra la policy appresa e quella statica.
Lo studio riguarda un robot in una sola galleria museale con quattro tour di cinque o sei reperti, e sono considerate solo le interazioni delle visite guidate.

Impatto sul settore

L'articolo è stato finalista dell'IROS 2022 Best Paper Award on Cognitive Robotics (sponsorizzato da KROS) e ha 14 citazioni. L'articolo non rilascia codice né dati.

Abstract

In questo lavoro proponiamo un framework che consente a robot autonomi impiegati per lunghi periodi in spazi pubblici di adattare online il proprio comportamento a partire dalle interazioni con gli utenti. La pianificazione del comportamento del robot è inserita in un framework di apprendimento per rinforzo (RL), il cui obiettivo è massimizzare il livello di coinvolgimento complessivo degli utenti durante le interazioni. Usiamo l'algoritmo Upper-Confidence-Bound Value-Iteration (UCBVI), che offre un modo utile di gestire il compromesso tra esplorazione e sfruttamento nelle interazioni in tempo reale. Un modello di coinvolgimento addestrato end-to-end genera la funzione di ricompensa in tempo reale durante l'esecuzione della policy. Testiamo questo approccio in un museo pubblico a Lincoln (Regno Unito), dove il robot è impiegato come guida per i visitatori. I risultati mostrano che, dopo un paio di mesi di esplorazione, la policy del robot ha imparato a mantenere più a lungo il coinvolgimento degli utenti, con un aumento del 22,8 % rispetto alla policy statica iniziale nel numero di reperti visitati durante il tour e un aumento del 30 % della probabilità di completare il tour. Questo lavoro è un passo promettente verso l'adattamento comportamentale in scenari di lungo periodo per applicazioni robotiche in contesti sociali.

Link

arXiv 2203.10518: https://arxiv.org/abs/2203.10518
DOI 10.48550/arXiv.2203.10518: https://doi.org/10.48550/arXiv.2203.10518
PDF: https://arxiv.org/pdf/2203.10518v1