Learning to Share Autonomy across Repeated Interaction

Autores: Ananth Jonnavittula, Dylan P. Losey · IROS 2021

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Autonomia compartilhada sem uma lista de objetivos predefinida: o robô aprende tarefas a partir da teleoperação repetida, as reconhece pela entrada do joystick, imita execuções anteriores e devolve o controle quando não tem certeza.

Por que importa

Usuários de braços assistivos repetem as mesmas tarefas diárias, então um braço que aprende com essas repetições pode reduzir o esforço de teleoperação sem que ninguém programe uma lista de objetivos. A devolução do controle baseada em um discriminador evita o impasse visto em métodos de inferência de objetivos, em que o robô resiste a um usuário que se dirige a um alvo desconhecido.

Problema

Métodos de autonomia compartilhada para braços assistivos precisam de conhecimento prévio, como o conjunto de objetivos que o usuário pode alcançar ou a recompensa que o usuário otimiza. Quando o usuário tenta uma tarefa fora desse conjunto, como abrir uma geladeira da qual o robô nunca foi informado, o robô não consegue ajudar e pode até empurrar em direção ao objetivo conhecido errado.

Solução proposta

O robô armazena cada interação teleoperada e treina um codificador que mapeia os estados atuais e os comandos de joystick do usuário para uma tarefa latente, e uma política decodificadora que produz velocidades das juntas assistivas replicando o comportamento anterior do usuário para essa tarefa. Um discriminador separado, treinado para distinguir interações já vistas de deformações ruidosas delas, pontua quão familiar é a interação atual, e essa pontuação define a mistura β entre as ações do robô e as do humano. Os modelos são retreinados entre interações, de modo que tarefas novas são aprendidas continuamente.

Principais ideias

A repetição na vida diária é o que torna possível aprender a ajudar; nunca é preciso dizer ao robô qual tarefa o usuário quer.
Codificar a interação em uma tarefa latente antes de escolher uma ação melhorou o alcance de objetivos em relação à clonagem de comportamento (DAgger) condicionada diretamente à interação.
Um discriminador separado de familiaridade deu uma confiança mais estável em uma tarefa conhecida do que a incerteza autoavaliada do DropoutDAgger, que devolvia o controle diante de pequenos desvios.
Usar como entrada do codificador apenas os comandos do humano, e não a ação combinada, evita laços de realimentação em que o robô convence a si mesmo do objetivo com suas próprias ações.
A inferência bayesiana de objetivos sobre um conjunto fixo de objetivos pode travar diante de uma tarefa desconhecida, como mostra o apêndice quando o usuário abre uma gaveta e o robô puxa em direção a um bloco de notas próximo.

Principais resultados

No estudo de ablação de alcance com três objetivos e 3 ou 5 demonstrações de treinamento, em que o usuário guiava apenas os primeiros 0,5 s, a abordagem baseada no codificador alcançou o objetivo com erro de estado final menor que o DAgger com os mesmos dados.
Com cinco repetições anteriores de uma habilidade de levantar um copo, a abordagem permaneceu confiante o tempo todo, enquanto o DropoutDAgger raramente prestou assistência.
Treinada com cinco repetições de uma habilidade de gaveta, a abordagem reduziu o esforço humano na tarefa da gaveta em todos os níveis de ruído testados e não exigiu mais esforço que No Assist em uma tarefa inédita de alcançar uma lata.
Em um estudo com 10 participantes, o esforço humano para alcançar dois objetivos conhecidos não diferiu significativamente entre a abordagem e uma referência bayesiana de autonomia compartilhada.
Quando os participantes realizaram duas tarefas novas 9 vezes cada, com retreinamento a cada três tentativas, o robô reconheceu a habilidade da gaveta e prestou assistência após treinar com 6 demonstrações; um modelo treinado em todas as tarefas ajudou nos objetivos originais mais ou menos tão bem quanto os modelos específicos de cada tarefa.
Os autores afirmam que o método aprende a partir de um número prático de interações (menos de 10).

Limitações

A abordagem não modela explicitamente a coadaptação: à medida que os usuários confiam no robô, eles podem mudar a forma como teleoperam, por exemplo parando totalmente de usar o joystick.
O estudo com usuários teve 10 participantes de uma comunidade universitária, não usuários que vivem com deficiências físicas.
Os experimentos usaram um braço fixo de 7 DoF em um ambiente doméstico simplificado, não um braço montado em cadeira de rodas.
Os experimentos em simulação usam operadores simulados com ruído gaussiano em seus comandos em vez de usuários reais.

Impacto na área

O artigo foi finalista do IROS 2021 Best RoboCup Paper Award e tem 16 citações. Ele traz o link de um vídeo dos experimentos; não informa a publicação de código ou dados.

Resumo

Braços robóticos montados em cadeiras de rodas (e outros robôs assistivos) devem ajudar seus usuários a realizar tarefas cotidianas. Uma forma de os robôs prestarem essa assistência é a autonomia compartilhada. Na autonomia compartilhada, tanto o humano quanto o robô mantêm o controle sobre o movimento do robô: à medida que o robô ganha confiança de que entende o que o humano quer, ele intervém cada vez mais para automatizar a tarefa. Mas como o robô sabe, antes de tudo, quais tarefas o humano pode querer realizar? As abordagens atuais de autonomia compartilhada costumam depender de conhecimento prévio: por exemplo, o robô precisa conhecer a priori o conjunto de possíveis objetivos humanos. No longo prazo, porém, esse conhecimento prévio inevitavelmente falhará: mais cedo ou mais tarde o humano buscará um objetivo que o robô não esperava. Neste artigo, propomos uma abordagem de aprendizado para a autonomia compartilhada que aproveita interações repetidas. Aprender a ajudar humanos seria impossível se eles realizassem tarefas completamente diferentes a cada interação: mas nossa percepção é que usuários que vivem com deficiências físicas repetem tarefas importantes diariamente (por exemplo, abrir a geladeira, fazer café e jantar). Apresentamos um algoritmo que explora essas interações repetidas para reconhecer a tarefa do humano, replicar demonstrações semelhantes e devolver o controle quando não tem certeza. À medida que o humano trabalha repetidamente com esse robô, nossa abordagem aprende continuamente a ajudar em tarefas que nunca foram especificadas de antemão: essas tarefas incluem tanto objetivos discretos (por exemplo, alcançar um copo) quanto habilidades contínuas (por exemplo, abrir uma gaveta). Em simulações e em um estudo presencial com usuários, demonstramos que robôs que usam nossa abordagem se igualam aos métodos existentes de autonomia compartilhada para objetivos conhecidos e superam as referências de aprendizado por imitação em tarefas novas. Veja os vídeos aqui: https://youtu.be/NazeLVbQ2og

Open Source Robotics