Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

Autores: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Construye un LERF de la escena, enmascara el objeto nombrado con características de DINO, consulta el nombre de la parte solo dentro de esa máscara y reordena los agarres de GraspNet para que el robot agarre la parte nombrada.

Por qué importa

El método no necesita etiquetas de partes, conjuntos de datos de affordances, demostraciones ni ajuste fino, y maneja consultas poco frecuentes como 'ethernet dongle', 'cork' o 'martini glass' porque usa CLIP en zero-shot. La consulta de la parte es texto sencillo, por lo que un modelo de lenguaje puede proporcionar el objeto y la parte a partir de una descripción de la tarea como 'cut the steak'.

Problema

Muchos objetos deben agarrarse por una parte específica, como un cuchillo por el mango o unas gafas de sol por la montura, pero los planificadores de agarre basados en aprendizaje consideran sobre todo la geometría y juzgan el éxito según si el objeto se levantó. Los métodos anteriores de agarre orientado a la tarea recopilan conjuntos de datos de partes de objetos o de affordances, que difícilmente escalan a muchos objetos. LERF por sí solo resalta únicamente la región más identificativa de un objeto, y CLIP se comporta como una bolsa de palabras, por lo que 'mug' y 'mug handle' activan casi las mismas regiones.

Solución propuesta

Una cámara de muñeca capta unas 60 imágenes en una trayectoria hemisférica, y un Language Embedded Radiance Field (características de CLIP y DINO destiladas en un NeRF, construido sobre Nerfacto de Nerfstudio) se entrena en unos 78 segundos. La consulta del objeto lo localiza, se hace crecer una máscara 3D del objeto rellenando por inundación según la similitud de características de DINO, y la consulta de la parte se evalúa solo en los puntos dentro de esa máscara (una consulta LERF condicionada). Los agarres de GraspNet generados desde un hemisferio de cámaras virtuales se ordenan por 0,95 × puntuación semántica (relevancia mediana de la parte dentro del volumen del agarre) + 0,05 × confianza de GraspNet.

Ideas clave

• Una máscara 3D del objeto a partir de características de DINO aporta la agrupación de objetos de la que carece la relevancia de CLIP en LERF, de modo que las consultas de partes cubren todo el objeto, incluidos los objetos alargados.
• Restringir la consulta de la parte a la máscara del objeto (consulta condicionada) contrarresta el comportamiento de bolsa de palabras de CLIP.
• La puntuación semántica debe dominar la ordenación (peso 0,95): el agarre geométrico de mayor confianza sobre la máscara del objeto solo cae en la parte correcta el 18 % de las veces.
• Las características multiescala de CLIP importan para las partes: ConceptFusion, con un embedding de CLIP por punto, elige el objeto correcto aproximadamente con la misma frecuencia, pero la parte correcta con mucha menos frecuencia.
• Los principales modos de fallo son partes visualmente similares (pico frente a asa de una tetera), geometría pequeña (asa de una taza de té, gatillo de un pulverizador), categorías cercanas (cuchillo de carne frente a cuchillo de pan) y la redacción del prompt ('bottle neck' localiza mejor que 'neck').

Resultados principales

• Agarre orientado a partes con consultas escritas por humanos (49 prompts, 12 escenas, Tabla 1): objeto correcto 96 %, parte correcta 82 %, levantamiento exitoso por la parte correcta 69 %. El resumen y la conclusión dan una tasa de parte correcta del 81 %.
• El número de objetos físicos se da como 31 en el resumen y en la Sección 5, y como 39 en la introducción y en los resultados orientados a la tarea.
• ConceptFusion con profundidad del NeRF: 77 % de objeto correcto y 39 % de parte correcta (sin ensayos físicos); métodos de referencia de vista única en 20 prompts y 5 escenas: Semantic Abstraction 80 % objeto / 35 % parte, OWL-ViT 85 % objeto / 50 % parte.
• Con ChatGPT eligiendo el objeto y la parte a partir de una descripción de la tarea (voto mayoritario entre siete respuestas), la Tabla 3 reporta un 96 % de objeto correcto y un 71 % de parte correcta; el texto de Resultados da un 92 % para la elección de la primitiva correcta y presenta el 71 % como éxito en el objeto correcto.
• Tiempos: captura de la escena 30 s, entrenamiento de LERF hasta 2k pasos 78 s, consulta de LERF-TOGO 10 s, con el preprocesamiento repartido entre tres GPU NVIDIA 4090 durante la captura.

Limitaciones

• Los autores afirman que el proceso completo tarda unos minutos, lo que puede resultar poco práctico para aplicaciones en las que el tiempo es crítico.
• Los grupos de objetos conectados en primer plano se fusionan en la máscara de relleno por inundación de DINO en lugar de separarse (según los autores).
• Si la consulta del objeto coincide con varios objetos, como tazas idénticas o un 'mug' genérico, el sistema elige uno arbitrariamente (según los autores).
• No se tratan las expresiones referenciales o comparativas como 'mug next to the plate' o 'biggest mug' (según los autores).
• Cada escena se reconstruye una vez y después los objetos se retiran uno a uno sin actualizar la representación; la selección de la parte es sensible a la redacción, con consultas de partes generadas por LLM con un 71 % de parte correcta frente al 82 % de las consultas humanas.

Impacto en el campo

Finalista del CoRL 2023 Best Paper / Best Student Paper Award y citado 159 veces. Los autores ponen a disposición el código, los datos y el apéndice a través de lerftogo.github.io, que enlaza un repositorio de GitHub y una carpeta de datos.

Resumen

Agarrar objetos por una subparte específica suele ser crucial para la seguridad y para ejecutar tareas posteriores. Proponemos LERF-TOGO, Language Embedded Radiance Fields for Task-Oriented Grasping of Objects, que usa modelos de visión y lenguaje en zero-shot para producir una distribución de agarres sobre un objeto dada una consulta en lenguaje natural. Para ello, construimos primero un LERF de la escena, que destila embeddings de CLIP en un campo de lenguaje 3D multiescala que puede consultarse con texto. Sin embargo, LERF no tiene noción de los límites de los objetos, por lo que sus salidas de relevancia a menudo devuelven activaciones incompletas sobre un objeto, insuficientes para agarrarlo. LERF-TOGO mitiga esta falta de agrupación espacial extrayendo una máscara 3D del objeto mediante características de DINO y consultando después LERF de forma condicionada sobre esta máscara para obtener una distribución semántica sobre el objeto con la que ordenar los agarres de un planificador de agarres comercial. Evaluamos la capacidad de LERF-TOGO para agarrar partes de objetos orientadas a la tarea en 31 objetos físicos, y observamos que selecciona agarres en la parte correcta en el 81 % de los ensayos y agarra con éxito en el 69 %. El código, los datos, el apéndice y los detalles están disponibles en: lerftogo.github.io

Enlaces

• arXiv 2309.07970: https://arxiv.org/abs/2309.07970
• DOI 10.48550/arXiv.2309.07970: https://doi.org/10.48550/arXiv.2309.07970
• PDF: https://proceedings.mlr.press/v229/rashid23a/rashid23a.pdf
• Código: https://github.com/lerftogo/lerftogo
• Página del proyecto: https://lerftogo.github.io/