Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects

Autores: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, Stan Birchfield · CoRL 2018

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma rede de pontos-chave treinada apenas com uma mistura de imagens sintéticas com randomização de domínio e fotorrealistas estima a pose de 6-DoF de objetos bem o suficiente para a preensão com um robô real.

Por que importa

Um robô não precisa de imagens reais rotuladas para aprender um novo objeto conhecido, e como a pose vem do PnP em vez de regressão direta, a rede pode ser usada com outra câmera sem retreinamento. O artigo mostra que as estimativas são precisas o suficiente em um Baxter para preensões de cima para baixo, pick-and-place sobre outro objeto e entrega a partir de uma pessoa.

Problema

Manipular objetos conhecidos requer sua posição e orientação 3D, mas rotular a pose de 6-DoF em imagens reais é trabalhoso, por isso as redes costumam ser treinadas com dados reais fortemente correlacionados com o conjunto de teste e generalizam mal para novas câmeras e iluminações. Dados sintéticos evitam a rotulagem, mas sofrem com a lacuna da realidade, e a randomização de domínio sozinha precisava de ajuste fino com dados reais para competir.

Solução proposta

O DOPE é uma rede totalmente convolucional de seis estágios (as dez primeiras camadas da VGG-19 mais estágios inspirados nas convolutional pose machines) que produz mapas de crença para os 8 vértices projetados do cuboide e o centroide, além de campos vetoriais que apontam dos vértices para os centroides. Os picos são agrupados de forma gulosa em instâncias de objetos e passados a um solucionador perspective-n-point (PnP) com os parâmetros intrínsecos da câmera e as dimensões do objeto para recuperar a pose. O treinamento usa cerca de 60k imagens com randomização de domínio e 60k fotorrealistas de objetos YCB renderizadas com o plugin NDDS dos autores para Unreal Engine 4.

Principais ideias

Dados sintéticos com randomização de domínio e fotorrealistas se complementam: o conjunto misto de 120k superou conjuntos muito maiores de qualquer um dos tipos isoladamente.
Prever pontos-chave 2D e resolver o PnP mantém os parâmetros intrínsecos da câmera fora dos pesos da rede, ao contrário de métodos que fazem regressão direta da pose.
Cada estágio extra da rede aumenta a precisão e custa tempo, porque estágios posteriores usam campos receptivos maiores para resolver a ambiguidade anterior.
O treinamento apenas com dados sintéticos generalizou para uma câmera diferente e para iluminação extrema melhor que o PoseCNN, cujas imagens reais de treinamento vieram da mesma câmera do seu conjunto de teste.
Materiais que o renderizador não modela causam falhas: a tampa metálica reflexiva da lata de carne enlatada não foi reconhecida quando era a única parte visível.

Principais resultados

No YCB-Video, o DOPE treinado apenas com dados sintéticos teve área sob a curva ADD maior que o PoseCNN (treinado com dados sintéticos mais dados reais do YCB-Video) em 4 de 5 objetos, e se saiu melhor abaixo de 2 cm, aproximadamente o limite de erro de preensão da garra do Baxter.
Caixa de açúcar, apenas dados com randomização de domínio: a AUC subiu de 0,25 com 2k imagens para 54,22 com 10k e cerca de 60,6 com 100k, chegando ao máximo de 66,64 com 300k; apenas fotorrealistas chegou ao máximo de 62,94 com 600k; o conjunto misto de 120k atingiu 77,00.
Proporção da mistura: o desempenho foi comparável para todas as redes desde que pelo menos 40 % de qualquer um dos conjuntos de dados fosse incluído junto com o outro completo.
Estágios versus tempo (incluindo extração de objetos e PnP): 1 estágio deu 46,44 de AUC em 57 ms e 6 estágios deram 75,69 de AUC em 232 ms.
Preensões de cima para baixo com o Baxter, 12 tentativas por objeto em desordem: caixa de biscoitos 10, lata de carne enlatada 10, frasco de mostarda 11, caixa de açúcar 11, lata de sopa de tomate 7 (9 com a lata deitada).

Limitações

Latas de carne enlatada muito ocluídas muitas vezes não são detectadas porque os dados sintéticos não modelam a superfície metálica reflexiva da tampa.
Objetos redondos são difíceis para preensões de cima para baixo: a lata de sopa em pé teve sucesso em 7 de 12 tentativas.
As preensões são executadas sem servocontrole em malha fechada; os erros vêm da estimação de pose, da calibração câmera-robô e do controle impreciso do robô, e o controle parece ter um papel importante.
O método pressupõe objetos rígidos conhecidos, com dimensões conhecidas e parâmetros intrínsecos da câmera conhecidos; os autores listam mais objetos, tratamento de simetrias e refinamento em malha fechada como trabalhos futuros.
A comparação com o PoseCNN em iluminação extrema é apenas qualitativa.

Impacto na área

Citado 778 vezes. O artigo aponta para vídeo e código em sua página de projeto da NVIDIA, que traz o link do repositório de código do DOPE; os dados de treinamento fotorrealistas foram disponibilizados como o conjunto de dados Falling Things (FAT), e o plugin de geração de dados NDDS está no GitHub.

Resumo

Usar dados sintéticos para treinar redes neurais profundas para manipulação robótica traz a promessa de uma quantidade quase ilimitada de dados de treinamento pré-rotulados, gerados com segurança e longe de riscos. Um dos principais desafios dos dados sintéticos, até hoje, tem sido transpor a chamada lacuna da realidade, para que redes treinadas com dados sintéticos funcionem corretamente quando expostas a dados do mundo real. Exploramos a lacuna da realidade no contexto da estimação de pose de 6-DoF de objetos conhecidos a partir de uma única imagem RGB. Mostramos que, para esse problema, a lacuna da realidade pode ser transposta com sucesso por uma combinação simples de dados com randomização de domínio e dados fotorrealistas. Usando dados sintéticos gerados dessa maneira, apresentamos uma rede neural profunda de passagem única capaz de competir com uma rede do estado da arte treinada com uma combinação de dados reais e sintéticos. Até onde sabemos, esta é a primeira rede profunda treinada apenas com dados sintéticos capaz de alcançar desempenho do estado da arte na estimação de pose de objetos de 6-DoF. Nossa rede também generaliza melhor para ambientes novos, incluindo condições de iluminação extremas, para as quais mostramos resultados qualitativos. Usando essa rede, demonstramos um sistema em tempo real que estima poses de objetos com precisão suficiente para a preensão semântica no mundo real de objetos domésticos conhecidos em desordem por um robô real.

Open Source Robotics