Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method

Autores: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O OPA pré-treina uma política de rede de grafos em trajetórias sintéticas de alcançar e evitar e depois se adapta a uma única correção humana atualizando apenas pequenas características de preferência por objeto, em menos de 0,5 s.

Por que importa

Separar a dinâmica de interação fixa das preferências específicas de cada objeto permite que uma única correção mude o comportamento em relação a um objeto sem retreinar a política. O espaço latente compacto consegue expressar comportamentos ausentes no pré-treinamento, como orientações relativas arbitrárias em SO(3), e o pré-treinamento não precisa de demonstrações humanas porque os dados são sintéticos.

Problema

Robôs precisam mudar seu comportamento quando uma pessoa os corrige no meio de uma tarefa, por exemplo quando uma fábrica acrescenta uma nova etapa de escaneamento. Os métodos online existentes precisam de episódios repetidos de interação ou modelam as preferências humanas como pesos sobre um conjunto fixo de características de recompensa escolhidas manualmente, o que limita o que pode ser aprendido e se transfere mal para novas tarefas.

Solução proposta

O OPA representa a cena como um grafo com o robô e os objetos como nós e arestas de cada objeto para o robô. Redes de relações compartilhadas para posição e orientação recebem características de estado relativo projetadas manualmente mais uma pequena característica de preferência aprendida por objeto (1-D para a posição; um latente 1-D mais um deslocamento rotacional em quatérnio para a orientação), e um agregador soma e normaliza suas saídas para formar uma ação. A política é pré-treinada em trajetórias sintéticas de Elastic Band; após uma perturbação humana, apenas as características por objeto são atualizadas por alguns passos de gradiente sobre um rollout imaginado, enquanto os pesos da rede compartilhada permanecem congelados.

Principais ideias

Tratar as características de preferência por objeto como pesos treináveis restringe a adaptação a um espaço latente compacto: 5 atualizações de gradiente para a posição e 20 para a orientação foram suficientes.
O pré-treinamento cobriu apenas quatro classes de interação (aproximar-se ou afastar-se; ignorar a orientação de um objeto ou igualá-la com um deslocamento fixo), e mesmo assim a adaptação produziu comportamentos novos, como orientações 3D arbitrárias relativas a um objeto.
A estrutura do modelo tornou os pesos aprendidos interpretáveis: os deslocamentos rotacionais 2D aprendidos convergiram para os deslocamentos reais durante o treinamento.
Ao contrário dos métodos de campos potenciais, a rede de relações não é obrigada a produzir forças paralelas ao vetor robô–objeto, o que evita falhas quando um obstáculo está na mesma direção do objetivo.
Inicializar as características de posição dos objetos de repulsão, atração e objetivo como 1,0; 0,5 e 0,0 fez com que a interpolação entre características produzisse um comportamento interpolado, de modo que novos objetos podem começar como “ignorar” no ponto médio.

Principais resultados

Estudo com 10 estudantes da CMU em três tarefas simuladas com um manipulador, aplicando perturbações com teclas do computador.
Tarefa 1 (carregar uma xícara frágil em baixa altura sobre a mesa): os usuários avaliaram que o OPA entendia melhor suas preferências, exigia menos esforço e era um pouco mais previsível do que uma linha de base que passa para compensação de gravidade durante a perturbação.
Tarefa 2 (apresentar uma frigideira em uma orientação escolhida): erro médio de orientação de 0,2576 rad, 16 % do máximo possível de π/2; quartis de satisfação 3,5 / 4,0 / 4,0 em uma escala de cinco pontos.
Tarefa 3 (acrescentar uma etapa de leitura de código de barras antes do recipiente): quartis de “entendeu minhas intenções” 4,0 / 4,0 / 5,0 em uma escala de cinco pontos.
A adaptação online leva menos de 0,5 s no total; o pré-treinamento de cada rede leva 12 minutos para 100 épocas na GPU de um notebook, após 4 minutos para gerar 3000 trajetórias sintéticas com 9 processos paralelos.

Limitações

Os autores afirmam que o OPA depende de ações centradas em objetos formuladas como alcançar e evitar; preensão e aplicação de força (por exemplo, limpar uma superfície) não são tratadas.
Pressupõe que todo objeto pode ser detectado, identificado de forma única e ter sua pose 6D extraída; ambientes não estruturados ficam para trabalhos futuros.
Os resultados são sensíveis à taxa de aprendizado da adaptação e ao número de passos de gradiente: na Tarefa 1, dois usuários viram o robô permanecer perto da mesa ou ignorar o objetivo, e na Tarefa 3 dois disseram que a tigela deveria ter se aproximado mais do leitor.
Objetivos centrados na tarefa que não são relativos a um objeto, como desenhar, não são cobertos.
O estudo com usuários usou um manipulador simulado perturbado com teclas do teclado, e não contato físico com um robô real.

Impacto na área

Vencedor do prêmio ICRA 2023 Outstanding Physical Human-Robot Interaction Paper, com 7 citações. O artigo traz links para vídeos, código e material suplementar; a página oficial do projeto aponta para o repositório de código.

Resumo

Para que robôs sejam implantados de forma eficaz em ambientes e tarefas novos, eles precisam ser capazes de entender o feedback expresso por humanos durante uma intervenção. Esse feedback pode corrigir um comportamento indesejado ou indicar preferências adicionais. Os métodos existentes exigem episódios repetidos de interação ou pressupõem características de recompensa previamente conhecidas, o que é ineficiente em dados e dificilmente se transfere para novas tarefas. Relaxamos essas suposições descrevendo tarefas humanas em termos de subtarefas centradas em objetos e interpretando intervenções físicas em relação a objetos específicos. Nosso método, Object Preference Adaptation (OPA), é composto por duas etapas principais: 1) pré-treinar uma política base para produzir uma ampla variedade de comportamentos e 2) atualizar online apenas certos pesos do modelo de acordo com o feedback humano. A chave da nossa adaptação, rápida e ao mesmo tempo simples, é que a dinâmica geral de interação entre agentes e objetos é fixa e apenas as preferências específicas de cada objeto são atualizadas. Nossa adaptação ocorre online, requer apenas uma intervenção humana (one-shot) e produz comportamentos novos nunca vistos durante o treinamento. Treinada com dados sintéticos baratos em vez de demonstrações humanas caras, nossa política demonstra uma adaptação impressionante a perturbações humanas em tarefas desafiadoras e realistas em nosso estudo com usuários. Vídeos, código e material suplementar: https://alvinosaur.github.io/AboutMe/projects/opa.

Open Source Robotics