Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

Autores: Francesco Del Duchetto, Marc Hanheide · IROS 2022

Licenças

Acesso aberto
Artigo: CC BY-SA 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY-SA 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Lindsey, um robô guia de museu, adapta suas visitas online com UCBVI usando como recompensa o engajamento dos visitantes estimado por câmera, aumentando as peças visitadas em 22,8 % e as visitas concluídas em ~30 %.

Por que importa

O aprendizado roda em um robô real em um espaço público não estruturado, onde visitantes sem treinamento podem interromper ou ir embora a qualquer momento, e não em laboratório ou simulação. Ele usa como único retorno um sinal de engajamento estimado automaticamente, sem fases separadas de coleta de dados e de treinamento. Um retorno de duas semanas à política estática após o aprendizado verifica que os ganhos vieram da política aprendida e não de outros efeitos, como o comportamento dos visitantes após o lockdown.

Problema

Lindsey havia feito mais de 2.300 visitas em 103 dias no museu The Collection em Lincoln, Reino Unido, mas apenas cerca de 18 % foram concluídas pelos visitantes. Um robô social precisa aprender com a experiência como suas ações afetam os usuários, mas o objetivo, o engajamento do usuário, é um estado interno que só pode ser estimado a partir de sensores. A exploração em um robô real também custa tempo e é limitada pela dinâmica do mundo real.

Solução proposta

As visitas são especificadas como planos em redes de Petri cujas ações (ir até uma peça, descrevê-la, descrevê-la com mais detalhes, encerrar a visita) são restritas a sequências sucessoras válidas. Um modelo de regressão de ponta a ponta na GPU do robô estima o engajamento a partir da câmera a cerca de 1 Hz; sua média em cada ação é classificada em LOW, MEDIUM ou HIGH e usada tanto no estado quanto como recompensa. O algoritmo Upper-Confidence-Bound Value Iteration (UCBVI), com as contagens de visitação inicializadas a partir de milhares de visitas sob a política estática original e um bônus de exploração definido por σ = 20, atualiza a política após cada visita.

Principais ideias

Visitantes que mostram engajamento LOW na primeira parada têm cerca de 20 % menos chance de continuar a visita, o que motiva usar o engajamento para escolher as ações.
A política aprendida reordena as peças e decide quando dar descrições adicionais: ela as dá com mais frequência no início da visita e, mais tarde, só quando o engajamento é MEDIUM ou HIGH.
Inicializar o UCBVI com visitas da política estática reaproveita esses dados, enquanto o bônus direciona a exploração para pares estado–ação menos explorados; o bônus também faz o robô repetir uma ação pouco explorada em visitas consecutivas antes de tentar uma nova, o que os autores consideraram útil para um comportamento consistente.
Como a recompensa é sempre positiva, a função de recompensa favorece implicitamente visitas mais longas.

Principais resultados

Durante a fase de aprendizado de 8 semanas, o número médio de peças visitadas por visita aumentou 22,8 % em relação ao período anterior com política estática, e voltou ao nível anterior na fase de verificação de 2 semanas com a política estática.
A taxa de sucesso das visitas (visitas que passam por todas as paradas) aumentou mais de 30 % em comparação com a visita estática; o resumo apresenta isso como um aumento de 30 % na probabilidade de concluir a visita.
Sob a política aprendida, o engajamento permaneceu estável entre ações consecutivas quase 50 % das vezes, contra chances aproximadamente iguais de aumentar, diminuir ou permanecer estável antes.
No início de 2022, a exploração havia alcançado apenas cerca de 13 % do espaço estado–ação; uma continuação simulada de 5 semanas mostrou o número de estados novos exploráveis diminuindo ao longo do tempo.
O engajamento médio detectado diminuiu durante a fase de aprendizado em comparação com os períodos anterior e de verificação.

Limitações

Apenas uma fração do espaço estado–ação foi explorada, e os autores afirmam que a exploração completa não pode ser alcançada na prática neste cenário real; alguns estados só podem ser alcançados quando o comportamento dos usuários permite.
O engajamento detectado caiu depois que o museu reabriu após o lockdown da COVID, possivelmente porque o uso de máscaras afeta o modelo de engajamento; o estudo abrange quase três anos, com muitos fatores influenciando o comportamento dos visitantes.
O bônus do UCBVI não consegue reconhecer quando as estimativas de áreas bem exploradas ficam desatualizadas porque as preferências dos usuários mudam; os autores propõem como trabalho futuro um bônus baseado na divergência em relação a estimativas anteriores.
Além de uma diminuição geral do desengajamento, os autores não encontram nenhuma outra diferença significativa em interrupções ou abandonos de visitas entre a política aprendida e a estática.
O estudo abrange um robô em uma única galeria de museu com quatro visitas de cinco ou seis peças, e apenas interações de visitas guiadas são consideradas.

Impacto na área

O artigo foi finalista do IROS 2022 Best Paper Award on Cognitive Robotics (patrocinado pela KROS) e tem 14 citações. O artigo não disponibiliza código nem dados.

Resumo

Neste trabalho, propomos um arcabouço que permite que robôs autônomos implantados por longos períodos em espaços públicos adaptem o próprio comportamento online a partir das interações com os usuários. O planejamento do comportamento do robô é incorporado a um arcabouço de aprendizado por reforço (RL), cujo objetivo é maximizar o nível de engajamento geral dos usuários durante as interações. Usamos o algoritmo Upper-Confidence-Bound Value-Iteration (UCBVI), que oferece uma forma útil de gerenciar o compromisso entre exploração e explotação em interações em tempo real. Um modelo de engajamento treinado de ponta a ponta gera a função de recompensa em tempo real durante a execução da política. Testamos essa abordagem em um museu público em Lincoln (Reino Unido), onde o robô atua como guia para os visitantes. Os resultados mostram que, após alguns meses de exploração, a política do robô aprendeu a manter o engajamento dos usuários por mais tempo, com um aumento de 22,8 % em relação à política estática inicial no número de peças visitadas durante a visita e um aumento de 30 % na probabilidade de concluir a visita. Este trabalho é um passo promissor rumo à adaptação comportamental em cenários de longo prazo para aplicações robóticas em contextos sociais.

Open Source Robotics