Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration

Autores: Andrei Haidu, Michael Beetz · ICRA 2021

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Pessoas realizam tarefas de cozinha em um mundo VR com simulação física; monitores online dividem suas ações em eventos de alcance, preensão, transporte e colocação armazenados no KnowRob para que robôs os consultem.

Por que importa

As demonstrações já saem segmentadas e anotadas em uma ontologia que o robô compartilha, incluindo as partes do corpo virtual, então não é preciso rotulagem manual. Os episódios podem ser reproduzidos e consultados por tipo de ação, tipo de objeto e relações entre partes, por exemplo todas as preensões em puxadores que pertencem à porta de uma geladeira.

Problema

Robôs que aprendem manipulação muitas vezes precisam de mais experiência do que pode ser fornecida com esforço razoável, então cada demonstração deveria trazer mais informação estruturada. O sistema AMEvA anterior dos autores rastreava apenas a cabeça e as mãos, deixava os usuários alcançarem lugares que seriam impossíveis na realidade, não podia usar outras partes do corpo, como cotovelos ou pés, e gerava representações de ações pouco detalhadas.

Solução proposta

Os usuários atuam em um ambiente do Unreal Engine 4 simulado com NVIDIA PhysX, com rastreamento de corpo inteiro e do olhar; as mãos são acionadas por controladores PID 3D, de modo que objetos pesados puxam para trás ou escorregam, e as preensões resultam da física usando estilos de preensão predefinidos. Um registrador subsimbólico armazena no MongoDB os estados do mundo e o olhar quadro a quadro, enquanto monitores online com matrizes de sensores de contato nas mãos e gramáticas registram no KnowRob, como eventos OWL, os submovimentos de preensão, contato, supported-by e pick-and-place.

Principais ideias

Acionar as mãos virtuais por meio de controladores PID em vez de um mapeamento direto faz o peso dos objetos importar, o que induz estratégias do mundo real como levantar com as duas mãos.
Matrizes de sensores de contato nos dedos, no polegar e na palma separam uma preensão real de um simples contato: uma preensão exige contato de pelo menos dois conjuntos diferentes.
Fases de movimento sem características claras de início ou fim (início do alcance, fim da retirada, início da colocação) podem ser delimitadas com regiões de interesse e retrocesso sobre o movimento dos objetos guardado em cache.
A relação supported-by é detectada como contato com velocidade vertical relativa quase nula, de modo que um objeto carregado sobre uma bandeja continua contando como apoiado nela.
Os monitores de eventos acompanham o estado de repouso (sleep) do motor de física e se desligam para objetos parados, o que, segundo os autores, permite ao sistema escalar para milhares de objetos em tempo real.

Principais resultados

O artigo não apresenta avaliação quantitativa de acurácia nem de tempo; seus resultados são demonstrações qualitativas e consultas de exemplo.
Um prato cheio levantado com uma preensão lateral de uma mão gira e escapa da mão por causa do peso, enquanto uma preensão com as duas mãos o levanta com sucesso.
As ações de pick-and-place são segmentadas online nas fases de alcance, fixação, deslizamento ou retirada, transporte e colocação, mostradas na Fig. 5 (a)–(j).
Consultas ao KnowRob recuperam e reproduzem ações de deslizamento sobre uma caixa de cereal, preensões em puxadores que fazem parte da porta de uma geladeira e ações de pick-and-place compostas de subações.
As coleções do MongoDB de cada episódio são indexadas como árvores B quando o episódio termina, o que dá tempo de busca O(log n).

Limitações

O rastreamento de corpo inteiro é unidirecional: o avatar pode empurrar objetos, mas não recebe retorno, então um usuário pode atravessar paredes ou móveis e desestabilizar a simulação (segundo os autores).
O início do alcance e o fim da retirada não têm características distintas e são aproximados com regiões de interesse (segundo os autores).
O detector de preensões não distingue o contexto da preensão, como carregar um objeto versus segurar o puxador de uma gaveta ou um móvel fixo (segundo os autores).
O olhar é registrado, mas ainda não é usado para refinar a detecção de ações, e o grande conjunto de dados público ainda é trabalho futuro (segundo os autores).
Nenhum experimento com robô e nenhuma avaliação quantitativa da detecção de eventos são relatados.

Impacto na área

Foi finalista do IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) e tem 11 citações. O artigo não informa a liberação de código ou dados; cita como trabalho futuro a publicação de um grande conjunto de dados pelo openEASE.

Resumo

Neste artigo, apresentamos um sistema capaz de coletar e anotar atividades cotidianas realizadas por humanos e compreensíveis para robôs a partir de ambientes virtuais. Os movimentos humanos são mapeados no mundo simulado usando dispositivos comerciais de realidade virtual com recursos de rastreamento de corpo inteiro e dos olhos. Todas as interações no mundo virtual são simuladas fisicamente, de modo que os movimentos e seus efeitos são estreitamente relacionáveis ao mundo real. Durante a execução da atividade, um registrador de dados subsimbólico grava o ambiente e o olhar humano quadro a quadro, permitindo a reprodução da cena e replays offline. Acoplados ao motor de física, monitores online (registradores de dados simbólicos) analisam (usando várias gramáticas) e registram eventos, ações e seus efeitos no mundo simulado.

Open Source Robotics