Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation

Autores: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, Phillip Isola · CoRL 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

F3RM destila características 2D de CLIP o DINO en un campo de características NeRF 3D, de modo que un robot puede inferir agarres y colocaciones de 6-DOF a partir de dos demostraciones por tarea y recoger objetos nombrados en texto libre.

Por qué importa

El método no necesita ajuste fino de los modelos de visión ni máscaras de segmentación ni supuestos sobre la pose de los objetos, porque trabaja sobre todo el campo de características. Los autores indican que conectar un modelo de visión y lenguaje más reciente al pipeline requiere unos pocos minutos de ingeniería, sin reentrenamiento y sin nuevas demostraciones.

Problema

Los modelos de imagen 2D preentrenados contienen un rico conocimiento semántico, pero agarrar y colocar requieren una geometría 3D precisa de la que carecen las características 2D. El artículo se pregunta cómo puede un robot recoger objetos que nunca ha visto, a partir de unas pocas demostraciones o de una descripción en texto, en escenas desordenadas donde los objetos difieren de los demostrados en forma, tamaño, pose y material.

Solución propuesta

El robot escanea la mesa con una cámara RGB montada en un palo selfi (50 imágenes) y entrena un NeRF que además renderiza características densas de DINO ViT o de CLIP; las características por parche de CLIP se extraen con la reparametrización de MaskCLIP para que sigan alineadas con el lenguaje. Una pose de pinza de 6-DOF se codifica muestreando el campo de características ponderado por ocupación en 100 puntos de consulta en el marco de la pinza, y las poses se encuentran mediante un prefiltrado por vóxeles más optimización con Adam frente al embedding promedio de dos demostraciones. Para las órdenes en texto, el embedding de texto de CLIP recupera las demostraciones más cercanas y pondera el coste de la pose hacia las regiones que coinciden con la consulta.

Ideas clave

• Los campos de características de DINO y de CLIP son complementarios: DINO da una buena geometría a nivel de partes, pero se confunde con distractores parecidos y tiende a sobreajustarse al color, mientras que CLIP prioriza la semántica sobre la geometría: 21 de 27 fallos de CLIP frente a 7 de 19 fallos de DINO se debieron a errores de rotación o traslación del agarre.
• Las características densas de CLIP tomadas de la penúltima capa con MaskCLIP conservan su alineación con el codificador de texto, por lo que las consultas en lenguaje funcionan sobre el campo de características 3D sin ajuste fino de CLIP.
• Ponderar las características por la ocupación del NeRF (alfa) permite que una sola representación de puntos de consulta codifique tanto la geometría local como la semántica, sin segmentación de objetos ni poses de objetos.
• Las demostraciones con tazas y destornilladores se transfirieron a categorías nuevas como cuencos, vasos medidores, rollos de cinta adhesiva, rotuladores de pizarra y utensilios cuando el objetivo se nombraba en texto.
• La mayoría de los fallos guiados por lenguaje (13 de 19) se debieron a que CLIP se comporta como una bolsa de palabras y pasa por alto las relaciones, los atributos y la información ordinal de la consulta.

Resultados principales

• Agarrar y colocar a partir de dos demostraciones por tarea, cinco tareas con diez escenas de prueba cada una: características CLIP ResNet 39/50, CLIP ViT 34/50, DINO ViT 31/50.
• Métodos de referencia en las mismas tareas: densidad del NeRF 27/50, RGB 21/50, características intermedias del NeRF 9/50 y MIRA 15/50.
• Manipulación guiada por lenguaje en 13 escenas sobre mesa: 31 de 50 consultas tuvieron éxito; por categoría, color 7/10, material 7/10, relacionales 4/10, generales 4/10 y categorías de objetos fuera de distribución 9/10.
• Ajustar el NeRF y el campo de características tarda como máximo 90 s (80 s de media) en una NVIDIA RTX 3090, y cada escena necesita de 60 a 120 MB, frente a entre 50 y varios cientos de GB por escena para ConceptFusion, basado en surfels.
• La optimización de la pose de agarre tarda 15 s de media; en una ablación del número de vistas, la calidad cae drásticamente por debajo de unas 20 de las 50 imágenes escaneadas.

Limitaciones

• Según los autores: el pipeline automatizado de escaneo y modelado tarda unos minutos por escena y es el principal cuello de botella del sistema.
• Los autores señalan que la tasa de éxito de 31/50 en manipulación guiada por lenguaje está lejos de ser práctica para uso industrial.
• El comportamiento de bolsa de palabras de CLIP causó fallos en consultas como "black screwdriver" y "mug on a can of spam", y recuperar demostraciones por texto requirió a veces ingeniería de prompts.
• Las distribuciones de puntos de consulta se ajustan a mano para cada tarea, y el mejor de cinco conjuntos de puntos de consulta muestreados se elige en escenas de desarrollo.
• Seis de los 19 fallos guiados por lenguaje se debieron a errores de rotación o traslación en el agarre predicho.

Impacto en el campo

Ganador del CoRL 2023 Best Paper Award. La página oficial del proyecto enlaza el repositorio de código de F3RM.

Resumen

Los modelos de imagen autosupervisados y supervisados por lenguaje contienen un rico conocimiento del mundo que es importante para la generalización. Sin embargo, muchas tareas robóticas requieren una comprensión detallada de la geometría 3D, de la que a menudo carecen las características de imagen 2D. Este trabajo salva esta brecha entre 2D y 3D para la manipulación robótica aprovechando campos de características destilados para combinar una geometría 3D precisa con la rica semántica de los modelos fundacionales 2D. Presentamos un método de aprendizaje few-shot para agarrar y colocar en 6-DOF que aprovecha estos sólidos priors espaciales y semánticos para lograr una generalización en condiciones reales a objetos no vistos. Usando características destiladas de un modelo de visión y lenguaje, CLIP, presentamos una forma de designar objetos nuevos para su manipulación mediante lenguaje natural en texto libre, y demostramos su capacidad para generalizar a expresiones no vistas y a categorías nuevas de objetos.

Enlaces

• arXiv 2308.07931: https://arxiv.org/abs/2308.07931
• PDF: https://arxiv.org/pdf/2308.07931v1
• Código: https://github.com/f3rm/f3rm
• Página del proyecto: https://f3rm.csail.mit.edu/