Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

Autores: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Constrói um LERF da cena, mascara o objeto nomeado com características do DINO, consulta o nome da parte apenas dentro dessa máscara e reordena as preensões do GraspNet para que o robô pegue a parte nomeada.

Por que importa

O método não precisa de rótulos de partes, conjuntos de dados de affordances, demonstrações ou ajuste fino, e lida com consultas de cauda longa como 'ethernet dongle', 'cork' ou 'martini glass' porque usa o CLIP em zero-shot. A consulta da parte é texto simples, então um modelo de linguagem pode fornecer o objeto e a parte a partir de uma descrição de tarefa como 'cut the steak'.

Problema

Muitos objetos precisam ser agarrados por uma parte específica, como uma faca pelo cabo ou óculos de sol pela armação, mas os planejadores de preensão baseados em aprendizado consideram principalmente a geometria e julgam o sucesso pelo fato de o objeto ter sido levantado. Métodos anteriores de preensão orientada à tarefa coletam conjuntos de dados de partes de objetos ou de affordances, que têm dificuldade para escalar a muitos objetos. O LERF sozinho destaca apenas a região mais identificadora de um objeto, e o CLIP se comporta como um saco de palavras, então 'mug' e 'mug handle' ativam quase as mesmas regiões.

Solução proposta

Uma câmera de punho captura cerca de 60 imagens em uma trajetória hemisférica, e um Language Embedded Radiance Field (características do CLIP e do DINO destiladas em um NeRF, construído sobre o Nerfacto do Nerfstudio) é treinado em cerca de 78 segundos. A consulta do objeto o localiza, uma máscara 3D do objeto é expandida por preenchimento por inundação da similaridade de características do DINO, e a consulta da parte é avaliada apenas nos pontos dentro dessa máscara (uma consulta LERF condicional). As preensões do GraspNet geradas a partir de um hemisfério de câmeras virtuais são ordenadas por 0,95 × pontuação semântica (relevância mediana da parte dentro do volume da preensão) + 0,05 × confiança do GraspNet.

Principais ideias

Uma máscara 3D do objeto obtida a partir de características do DINO fornece o agrupamento de objetos que falta à relevância do CLIP no LERF, de modo que as consultas de partes cobrem o objeto inteiro, inclusive objetos alongados.
Restringir a consulta da parte à máscara do objeto (consulta condicional) neutraliza o comportamento de saco de palavras do CLIP.
A pontuação semântica precisa dominar a ordenação (peso 0,95): a preensão geométrica de maior confiança sobre a máscara do objeto cai na parte correta apenas 18 % das vezes.
Características multiescala do CLIP importam para as partes: o ConceptFusion, com um embedding do CLIP por ponto, escolhe o objeto certo com frequência parecida, mas a parte certa com muito menos frequência.
Os principais modos de falha são partes visualmente semelhantes (bico vs. alça de um bule), geometria pequena (alça de xícara de chá, gatilho de borrifador), categorias próximas (faca de carne vs. faca de pão) e a redação do prompt ('bottle neck' localiza melhor que 'neck').

Principais resultados

Preensão orientada a partes com consultas escritas por humanos (49 prompts, 12 cenas, Tabela 1): objeto correto 96 %, parte correta 82 %, levantamento bem-sucedido pela parte correta 69 %. O resumo e a conclusão dão a taxa de parte correta como 81 %.
O número de objetos físicos é dado como 31 no resumo e na Seção 5, e como 39 na introdução e nos resultados orientados à tarefa.
ConceptFusion com profundidade do NeRF: 77 % de objeto correto e 39 % de parte correta (sem ensaios físicos); baselines de vista única em 20 prompts e 5 cenas: Semantic Abstraction 80 % objeto / 35 % parte, OWL-ViT 85 % objeto / 50 % parte.
Com o ChatGPT escolhendo objeto e parte a partir de uma descrição da tarefa (voto majoritário entre sete respostas), a Tabela 3 relata 96 % de objeto correto e 71 % de parte correta; o texto de Resultados dá 92 % para a escolha da primitiva correta e apresenta os 71 % como sucesso no objeto correto.
Tempos: captura da cena 30 s, treinamento do LERF até 2k passos 78 s, consulta do LERF-TOGO 10 s, com o pré-processamento distribuído entre três GPUs NVIDIA 4090 durante a captura.

Limitações

Os autores afirmam que o processo completo leva alguns minutos, o que pode ser impraticável para aplicações sensíveis ao tempo.
Grupos de objetos conectados em primeiro plano são fundidos pela máscara de preenchimento por inundação do DINO em vez de serem separados (segundo os autores).
Se a consulta do objeto corresponder a vários objetos, como canecas idênticas ou um 'mug' genérico, o sistema escolhe um arbitrariamente (segundo os autores).
Expressões referenciais ou comparativas como 'mug next to the plate' ou 'biggest mug' não são tratadas (segundo os autores).
Cada cena é reconstruída uma vez e os objetos são então removidos um a um sem atualizar a representação; a seleção da parte é sensível à redação, com consultas de partes geradas por LLM atingindo 71 % de parte correta contra 82 % para consultas humanas.

Impacto na área

Finalista do CoRL 2023 Best Paper / Best Student Paper Award e citado 159 vezes. Os autores disponibilizam código, dados e o apêndice em lerftogo.github.io, que traz links para um repositório no GitHub e uma pasta de dados.

Resumo

Agarrar objetos por uma subparte específica costuma ser crucial para a segurança e para executar tarefas subsequentes. Propomos o LERF-TOGO, Language Embedded Radiance Fields for Task-Oriented Grasping of Objects, que usa modelos de visão e linguagem em zero-shot para produzir uma distribuição de preensão sobre um objeto dada uma consulta em linguagem natural. Para isso, primeiro construímos um LERF da cena, que destila embeddings do CLIP em um campo de linguagem 3D multiescala consultável por texto. No entanto, o LERF não tem noção dos limites dos objetos, então suas saídas de relevância muitas vezes retornam ativações incompletas sobre um objeto, insuficientes para a preensão. O LERF-TOGO atenua essa falta de agrupamento espacial extraindo uma máscara 3D do objeto por meio de características do DINO e, em seguida, consultando o LERF de forma condicional sobre essa máscara para obter uma distribuição semântica sobre o objeto com a qual ordenar as preensões de um planejador de preensão pronto para uso. Avaliamos a capacidade do LERF-TOGO de agarrar partes de objetos orientadas à tarefa em 31 objetos físicos e constatamos que ele seleciona preensões na parte correta em 81 % dos ensaios e agarra com sucesso em 69 %. Código, dados, apêndice e detalhes estão disponíveis em: lerftogo.github.io

Open Source Robotics