Disentangled Relational Representations for Explaining and Learning from Demonstration

Autores: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um β-VAE com perdas auxiliares de rótulos aprende embeddings de relações espaciais que transformam demonstrações sobre mesa em planos simbólicos e poses do efetuador final do PR2.

Por que importa

Um usuário pode ensinar a um robô um vocabulário espacial a partir de dados parcialmente rotulados, e o robô então explica novas demonstrações nesse mesmo vocabulário, de modo que seu plano pode ser lido e verificado por uma pessoa. Os mesmos embeddings alimentam um regressor de pose, que liga os símbolos ensinados ao movimento do braço em um PR2.

Problema

O aprendizado por demonstração depende de um viés indutivo na estrutura de recompensas e políticas, e pessoas que não são especialistas em robótica acham mais fácil demonstrar uma tarefa do que especificá-la. Um robô ensinado com linguagem precisa ancorar conceitos abstratos como 'à esquerda de' ou 'sobre' em seu fluxo sensorial de alta dimensão. Modelos relacionais anteriores precisam de grandes conjuntos de dados totalmente rotulados e funcionam como caixas-pretas, ou pressupõem um modelo conhecido do ambiente, um mapeamento determinístico para símbolos e planos completos.

Solução proposta

Um β-VAE siamês codifica imagens RGBD mascaradas de um objeto-alvo e de um objeto de referência em embeddings de objeto, e um operador variacional mapeia cada par para um espaço relacional de baixa dimensão com um eixo por grupo de conceitos (esquerda/direita, frente/atrás, acima/abaixo, perto/longe, sobre/não sobre, dentro/fora). Termos de reconstrução, KL e entropia cruzada sobre rótulos fracos e parcialmente ausentes alinham esses eixos com as noções humanas. No momento do teste, testes de razão de verossimilhança sobre os traços de embeddings das demonstrações recuperam qual objeto se move, quando e como suas relações mudam, os passos encontrados em todas as demonstrações formam o plano, e um MLP faz regressão de uma pose de 6-DoF do efetuador final que é passada ao planejador de movimento MoveIt!.

Principais ideias

Rótulos fracos com um caso explícito 'desconhecido' bastam para alinhar os eixos latentes com conceitos espaciais humanos; pares sem rótulo ainda contribuem por meio da perda de reconstrução.
Combinar reconstrução mascarada com classificação de rótulos de objeto gerou o espaço relacional mais útil para segmentar demonstrações; modelos sem a perda de rótulos de objeto produziram embeddings relacionais muito concentrados em torno de zero, o que os autores associam à sua segmentação mais fraca.
Testes de razão de verossimilhança entre uma gaussiana 'em movimento' e uma 'estacionária' em embeddings consecutivos bastam para descobrir qual objeto se move e quando.
Manter apenas os passos encontrados em todas as demonstrações remove movimentos incidentais, como passar por trás de um objeto no caminho da esquerda para a direita dele.
O regressor de pose é mais preciso nos eixos que importam para cada tarefa: posição para colocar sobre ou dentro, rolagem e arfagem para fazer duas xícaras ficarem de frente uma para a outra.

Principais resultados

Segmentação de planos em demonstrações repetitivas do BlocksWorld: o modelo completo (reconstrução + perda de rótulos de objeto) obteve 0,80 em esquerda-direita, 0,88 em frente-atrás, 0,91 em abaixo-acima, 0,86 em longe-perto e 0,76 em não sobre-sobre, contra 0,50, 0,64, 0,54, 0,56 e 0,49 do modelo sem nenhum dos dois termos.
Exceção: no grupo fora-dentro o modelo completo obteve 0,56, abaixo das três ablações (0,66, 0,62 e 0,78).
Demonstrações encadeadas, em que um único objeto se move: todos os modelos alcançaram acurácia 1 em C-shape e jump-over e cerca de 0,74 em off-on-off.
A distância de edição média dos planos inferidos cai em direção ao ground truth à medida que mais demonstrações (até 8) são usadas; algumas curvas não convergem por causa de oclusões de objetos em algumas demonstrações.
Dados: 1000 cenas sintéticas do BlocksWorld com 4 objetos cada (72.000 relações, 40 % sem rótulo) e, no PR2, 3 tarefas teleoperadas × 20 demonstrações, gerando 2400 pares de objetos rotulados e 6000 sem rótulo; a predição de pose foi testada em 10 demonstrações adicionais por tarefa.

Limitações

A extração da essência da tarefa só funciona para tarefas determinísticas, em que uma única sequência de ações atinge o objetivo.
A preensão não é tratada; pressupõe-se que o robô já segura o objeto a ser movido.
A segmentação não é aprendida: as máscaras vêm de uma Mask R-CNN pré-treinada no robô e do estado do simulador no BlocksWorld, e as instruções precisam seguir um modelo predefinido para o parser.
Oclusões de objetos em algumas demonstrações impedem que os planos inferidos convirjam para o ground truth.
A avaliação abrange três tarefas simples sobre mesa; tarefas composicionais e modificadores como 'mais para a esquerda' ficam para trabalhos futuros.

Impacto na área

Finalista do CoRL 2019 Best Paper Award, com 28 citações. A página oficial do projeto traz links para o código dos experimentos, o código de geração de dados e os dados de treinamento fotorrealistas baseados no CLEVR.

Resumo

O aprendizado por demonstração é um método eficaz para que usuários humanos instruam o comportamento desejado de um robô. No entanto, para a maioria das tarefas não triviais de interesse prático, um aprendizado por demonstração eficiente depende crucialmente do viés indutivo na estrutura escolhida para recompensas/custos e políticas. Tratamos do caso em que esse viés indutivo vem de uma troca com um usuário humano. Propomos um método no qual um agente de aprendizado utiliza a camada de gargalo de informação de um modelo neural variacional com muitos parâmetros, com termos de perda auxiliares, para ancorar conceitos abstratos como relações espaciais. Os conceitos são mencionados em instruções em linguagem natural e se manifestam no fluxo de entrada sensorial de alta dimensão que o agente recebe do mundo. Avaliamos as propriedades do espaço latente do modelo aprendido em um ambiente sintético fotorrealista e nos concentramos em particular em examinar sua utilidade para tarefas subsequentes. Além disso, por meio de uma série de experimentos controlados de manipulação sobre mesa, demonstramos que a variedade aprendida pode ser usada para ancorar demonstrações como planos simbólicos, que podem então ser executados em um robô PR2.

Open Source Robotics