VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

Autores: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei · CoRL 2023

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un LLM escribe código Python que rellena mapas de vóxeles 3D de affordance y de evitación a partir de detecciones de visión y lenguaje; un planificador los convierte en trayectorias de 6 DoF en lazo cerrado sin entrenamiento adicional.

Por qué importa

Ningún componente se entrena para las tareas: el conocimiento del modelo de lenguaje se ancla directamente en el espacio de observación 3D del robot y lo consume un planificador estándar. Como el planificador replanifica a partir de observaciones nuevas, la ejecución tolera perturbaciones como objetivos desplazados o un cajón que se vuelve a abrir después de que el robot lo cerrara.

Problema

Los planificadores robóticos basados en LLM suelen llamar a una biblioteca de primitivas de movimiento predefinidas, y adquirir esas habilidades es un cuello de botella porque escasean los datos robóticos a gran escala. Los LLM tampoco pueden producir directamente como texto acciones de control de alta frecuencia y alta dimensión. El artículo se pregunta cómo usar el conocimiento de los LLM al nivel de acciones de grano fino, para instrucciones y objetos de conjunto abierto, sin recogida de datos por tarea ni primitivas diseñadas a mano.

Solución propuesta

Dada una instrucción y observaciones RGB-D, GPT-4 genera código Python que llama a APIs de percepción (detección con OWL-ViT, máscaras de Segment Anything, seguimiento con XMem) y a operaciones de NumPy para rellenar mapas de vóxeles de 100×100×100 para la affordance, la evitación, la rotación del efector final, la velocidad y el estado de la pinza. Un planificador de movimiento de búsqueda voraz encuentra waypoints del efector final sin colisiones sobre un mapa de costes construido a partir de los mapas ponderados de affordance y de evitación, ejecuta el primer waypoint y replanifica a 5 Hz en un lazo de control predictivo basado en modelo. Para las tareas ricas en contacto, las trayectorias zero-shot orientan la exploración mientras se aprende en línea un modelo dinámico MLP.

Ideas clave

Los LLM son malos emitiendo acciones de control en bruto, pero buenos infiriendo affordances y restricciones, y pueden expresarlas como código que escribe valores en mapas de vóxeles 3D.
Componer mapas de valor espaciales bajo una optimización conjunta generalizó mejor que un LLM que parametriza una lista fija de primitivas (una variante de Code as Policies) y mejor que una U-Net entrenada para predecir mapas de costes.
Las trayectorias zero-shot para tareas ricas en contacto suelen tener sentido pero son insuficientes; usadas como prior de exploración, hacen viable el aprendizaje de un modelo dinámico.
En simulación, VoxPoser tuvo el menor error de especificación de los métodos comparados; en el mundo real, la mayoría de los errores vinieron de la percepción, por ejemplo la sensibilidad del detector a las poses iniciales de los objetos y a las partes de los objetos.

Resultados principales

Mundo real, cinco tareas con 10 ensayos cada una: 88,0 % de éxito en escenas estáticas y 70,0 % con perturbaciones, frente a 24,0 % y 0,0 % de LLM + primitivas.
Simulación (13 tareas, 2766 instrucciones únicas, 20 episodios por tarea), éxito en interacción con objetos / composición espacial: 64,0 % / 77,5 % con instrucciones y atributos vistos, 60,0 % / 58,8 % con atributos no vistos y 65,0 % / 76,7 % con instrucciones y atributos no vistos.
En el escenario de instrucciones y atributos no vistos, los métodos de referencia alcanzaron 0,0 % / 0,0 % (U-Net + planificador de movimiento) y 17,5 % / 25,0 % (LLM + primitivas).
Tareas simuladas ricas en contacto: el éxito zero-shot del 6,7 % (puerta), 3,3 % (ventana) y 18,3 % (frigorífico) subió al 88,3 %, 80,0 % y 91,7 % tras unos 142 s, 137 s y 71 s de interacción en línea con el prior zero-shot; explorar sin el prior superó el límite de 12 horas.
La configuración real replanifica a 5 Hz mientras dos cámaras Azure Kinect transmiten RGB-D a 20 Hz.

Limitaciones

Según los autores: VoxPoser depende de módulos de percepción externos, lo que limita las tareas que requieren un razonamiento visual holístico o la comprensión de la geometría de grano fino de los objetos.
Según los autores: sigue haciendo falta un modelo dinámico de propósito general para manejar tareas ricas en contacto con el mismo nivel de generalización; las tareas reales centradas en objetos usaron un modelo heurístico de empuje planar y una primitiva de empuje predefinida.
Según los autores: el planificador de movimiento solo considera trayectorias del efector final, mientras que la planificación del brazo completo probablemente sea un mejor diseño.
Según los autores: los prompts del LLM se diseñan a mano (de 5 a 20 consultas de ejemplo por programa del modelo de lenguaje).
En la mayoría de las tareas se supone que la escena es estática, salvo por la replanificación, y la descomposición de las instrucciones en subtareas por parte del LLM no se estudia en profundidad.

Impacto en el campo

Citado 735 veces (cifra tal como se indica). La página oficial del proyecto enlaza el repositorio de código de VoxPoser, y el artículo publica sus prompts completos del LLM en el sitio web del proyecto.

Resumen

Se ha demostrado que los grandes modelos de lenguaje (LLM) poseen una gran cantidad de conocimiento aplicable que puede extraerse para la manipulación robótica en forma de razonamiento y planificación. A pesar de los avances, la mayoría sigue dependiendo de primitivas de movimiento predefinidas para llevar a cabo las interacciones físicas con el entorno, lo que sigue siendo un importante cuello de botella. En este trabajo nos proponemos sintetizar trayectorias de robot, es decir, una secuencia densa de waypoints del efector final de 6 DoF, para una gran variedad de tareas de manipulación dado un conjunto abierto de instrucciones y un conjunto abierto de objetos. Lo logramos observando primero que los LLM destacan en inferir affordances y restricciones a partir de una instrucción en lenguaje libre. Y lo que es más importante, aprovechando su capacidad para escribir código, pueden interactuar con un modelo de visión y lenguaje (VLM) para componer mapas de valor 3D que anclan el conocimiento en el espacio de observación del agente. Los mapas de valor compuestos se usan después en un marco de planificación basado en modelos para sintetizar en zero-shot trayectorias de robot en lazo cerrado, robustas frente a perturbaciones dinámicas. Además, demostramos cómo el marco propuesto puede beneficiarse de la experiencia en línea aprendiendo de forma eficiente un modelo dinámico para escenas con interacciones ricas en contacto. Presentamos un estudio a gran escala del método propuesto en entornos simulados y con robots reales, que muestra la capacidad de realizar una gran variedad de tareas cotidianas de manipulación especificadas en lenguaje natural libre. Vídeos y código en https://voxposer.github.io

Enlaces

arXiv 2307.05973: https://arxiv.org/abs/2307.05973
DOI https://doi.org/10.48550/arxiv.2307.05973: https://doi.org/https://doi.org/10.48550/arxiv.2307.05973
PDF: https://proceedings.mlr.press/v229/huang23b/huang23b.pdf
Código: https://github.com/huangwl18/VoxPoser
Página del proyecto: https://voxposer.github.io/