SORNet: Spatial Object-Centric Representations for Sequential Manipulation

Autores: Wentao Yuan, Chris Paxton, Karthik Desingh, Dieter Fox · CoRL 2021

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

SORNet genera un embedding para cada objeto de una imagen RGB a partir de una vista canónica de ese objeto; pequeños MLP de lectura convierten los embeddings en precondiciones de habilidades y direcciones 3D para objetos no vistos.

Por qué importa

Los predicados predichos alimentan un planificador simbólico de tareas y movimientos, de modo que la misma red puede servir para nuevas tareas y nuevos objetos sin reentrenamiento ni ajuste fino. Los autores usan predicados predichos a partir de la imagen de cámara de un robot real para rellenar el estado de un planificador en ejecución en lazo abierto, y usan las predicciones de dirección para el servocontrol visual hacia un objeto objetivo.

Problema

La manipulación secuencial necesita saber qué relaciones espaciales se cumplen entre objetos, por ejemplo si la parte superior de un bloque está libre, antes de que un planificador pueda elegir la siguiente habilidad. Los estimadores explícitos de estado son difíciles de generalizar a colecciones arbitrarias de objetos, especialmente objetos en contacto, y las redes de extremo a extremo quedan ligadas a la tarea con la que se entrenaron: una red entrenada para apilar bloques no puede simplemente desapilarlos.

Solución propuesta

SORNet es un Vision Transformer que toma parches de contexto RGB de la escena más vistas canónicas de los objetos de interés como tokens de consulta, con la atención enmascarada para que las consultas lean solo de la escena, y produce un embedding por objeto consultado. Redes de lectura MLP de dos capas transforman embeddings individuales o en pares en predicados unarios y binarios o en direcciones 3D continuas, con parámetros independientes del número de objetos; el entrenamiento usa Leonardo, un nuevo conjunto de datos simulado de un Franka Panda apilando bloques, etiquetado con predicados reales (ground truth).

Ideas clave

• Condicionar en vistas canónicas de los objetos, que no tienen por qué coincidir con el aspecto del objeto en la escena, permite al modelo identificar objetos no vistos ante cambios de iluminación, pose y oclusión sin reentrenamiento.
• Enmascarar la atención entre los tokens de consulta y de los parches de contexto hacia las consultas hace que las salidas sean equivariantes a permutaciones, de modo que en inferencia se puede consultar cualquier número de objetos.
• Los embeddings entrenados solo con etiquetas de predicados lógicos siguen conteniendo información espacial continua: un regresor sobre embeddings congelados predice direcciones 3D mejor que líneas base entrenadas con supervisión de pose.
• Las líneas base sin condicionamiento por objeto fallan en zero-shot con objetos no vistos y siguen muy por detrás incluso tras un ajuste fino 100-shot.
• Agregar tres vistas de cámara ayuda con la oclusión, y añadir el estado de la pinza mejora los predicados ligados a la pinza, como has-object.

Resultados principales

• Precisión de relaciones zero-shot en CLEVR-CoGenT: 99,006 % en valA y 98,222 % en valB, frente a 84,950 % / 59,627 % de MDETR y 97,944 % / 98,052 % de MDETR-oracle, que vio todos los objetos en el entrenamiento.
• Clasificación de predicados en Leonardo con objetos no vistos (52 predicados): SORNet M-View (G) alcanza un 98,9 % de precisión, un 63,6 % de precisión de coincidencia total (all-match) y un F1 de 89,5; la mejor línea base 100-shot alcanza 92,8 %, 4,1 % y 0,0.
• Escenas con 5 y 6 objetos (entrenado con 4): 98,5 % y 98,0 % de precisión, con la coincidencia total bajando a 45,5 % y 29,7 % a medida que los predicados crecen a 70 y 102.
• 30 imágenes de robot del mundo real: 96,3 % de precisión, 26,7 % de precisión de coincidencia total, F1 de 76,5.
• Precisión de ejecutabilidad de habilidades: 76,3 % para SORNet M-View (G) frente a aproximadamente 27 % de las líneas base ResNet18 y ViT, que obtienen 0 % en grasp, align, place y lift.
• Regresión de la dirección 3D relativa (error euclídeo sobre vectores unitarios, 1000 ejemplos de entrenamiento): 0,1458 objeto-objeto y 0,1777 efector final-objeto para SORNet (preentrenado, multivista), frente a 0,4308 / 0,3251 de ResNet18 y 0,6145 / 0,4960 de CLIP-ViT preentrenado.

Limitaciones

• Las redes de lectura solo manejan relaciones unarias y binarias; las relaciones que implican más de dos objetos quedan para trabajo futuro.
• Las relaciones espaciales se predicen a partir de un solo fotograma RGB; no se aborda el razonamiento temporal.
• En imágenes reales el modelo comete errores en situaciones nunca vistas en el entrenamiento, como un bloque apilado entre dos bloques, y la precisión de coincidencia total en las 30 imágenes reales es del 26,7 %.
• La precisión de coincidencia total cae al añadir objetos (29,7 % con 6 objetos) porque el número de predicados binarios crece de forma cuadrática.
• Los datos de entrenamiento cubren una sola tarea, apilar 4 bloques; la demostración de planificación con el robot real se ejecuta en lazo abierto y solo se muestra en el vídeo complementario.

Impacto en el campo

Finalista del CoRL 2021 Best System Paper Award, con 82 citas. El artículo aporta el conjunto de datos Leonardo de observaciones RGB etiquetadas con predicados espaciales, y la página oficial del proyecto enlaza el código (github.com/wentaoyuan/sornet).

Resumen

Las tareas de manipulación secuencial requieren que un robot perciba el estado de un entorno y planifique una secuencia de acciones que lleve a un estado objetivo deseado, donde la capacidad de razonar sobre las relaciones espaciales entre entidades de objetos a partir de entradas de sensores en bruto es crucial. Los trabajos previos que se basan en la estimación explícita del estado o en el aprendizaje de extremo a extremo tienen dificultades con objetos nuevos o tareas nuevas. En este trabajo proponemos SORNet (Spatial Object-Centric Representation Network), que extrae representaciones centradas en objetos a partir de imágenes RGB condicionadas por vistas canónicas de los objetos de interés. Mostramos que los embeddings de objetos aprendidos por SORNet generalizan zero-shot a entidades de objetos no vistas en tres tareas de razonamiento espacial: clasificación de relaciones espaciales, clasificación de precondiciones de habilidades y regresión de la dirección relativa, superando de forma significativa a las líneas base. Además, presentamos experimentos robóticos en el mundo real que demuestran el uso de los embeddings de objetos aprendidos en la planificación de tareas para la manipulación secuencial.

Enlaces

• arXiv 2109.03891: https://arxiv.org/abs/2109.03891
• DOI 10.48550/arXiv.2109.03891: https://doi.org/10.48550/arXiv.2109.03891
• PDF: https://proceedings.mlr.press/v164/yuan22a/yuan22a.pdf
• Código: https://github.com/wentaoyuan/sornet
• Página del proyecto: https://wentaoyuan.github.io/sornet