Disentangled Relational Representations for Explaining and Learning from Demonstration

Autores: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un β-VAE con pérdidas auxiliares de etiquetas aprende embeddings de relaciones espaciales que convierten demostraciones sobre mesa en planes simbólicos y poses del efector final del PR2.

Por qué importa

Un usuario puede enseñar a un robot un vocabulario espacial a partir de datos parcialmente etiquetados, y el robot explica después las nuevas demostraciones en ese mismo vocabulario, de modo que una persona puede leer y comprobar su plan. Los mismos embeddings alimentan un regresor de pose, que vincula los símbolos enseñados con el movimiento del brazo en un PR2.

Problema

El aprendizaje por demostración depende de un sesgo inductivo en la estructura de las recompensas y las políticas, y a las personas que no son expertas en robótica les resulta más fácil demostrar una tarea que especificarla. Un robot al que se enseña con lenguaje debe anclar conceptos abstractos como 'a la izquierda de' o 'sobre' en su flujo sensorial de alta dimensión. Los modelos relacionales anteriores necesitan grandes conjuntos de datos completamente etiquetados y actúan como cajas negras, o suponen un modelo conocido del entorno, una correspondencia determinista con los símbolos y planes completos.

Solución propuesta

Un β-VAE siamés codifica imágenes RGBD enmascaradas de un objeto objetivo y un objeto de referencia en embeddings de objeto, y un operador variacional proyecta cada par en un espacio relacional de baja dimensión con un eje por grupo de conceptos (izquierda/derecha, delante/detrás, encima/debajo, cerca/lejos, sobre/no sobre, dentro/fuera). Los términos de reconstrucción, KL y entropía cruzada sobre etiquetas débiles y parcialmente ausentes alinean estos ejes con las nociones humanas. En el momento de la prueba, las pruebas de razón de verosimilitud sobre las trazas de embeddings de las demostraciones recuperan qué objeto se mueve, cuándo y cómo cambian sus relaciones, los pasos presentes en todas las demostraciones forman el plan, y un MLP hace regresión de una pose de 6-DoF del efector final que se pasa al planificador de movimiento MoveIt!.

Ideas clave

• Las etiquetas débiles con un caso explícito 'desconocido' bastan para alinear los ejes latentes con conceptos espaciales humanos; los pares sin etiquetar siguen contribuyendo a través de la pérdida de reconstrucción.
• Combinar la reconstrucción enmascarada con la clasificación de etiquetas de objeto dio el espacio relacional más útil para segmentar demostraciones; los modelos sin la pérdida de etiquetas de objeto produjeron embeddings relacionales muy concentrados en torno a cero, lo que los autores relacionan con su peor segmentación.
• Las pruebas de razón de verosimilitud entre una gaussiana 'en movimiento' y una 'estacionaria' sobre embeddings consecutivos bastan para averiguar qué objeto se mueve y cuándo.
• Conservar solo los pasos presentes en todas las demostraciones elimina los movimientos incidentales, como pasar por detrás de un objeto al ir de su izquierda a su derecha.
• El regresor de pose es más preciso en los ejes que importan para cada tarea: la posición para colocar sobre o dentro, el alabeo y el cabeceo para hacer que dos tazas queden enfrentadas.

Resultados principales

• Segmentación de planes en demostraciones repetitivas de BlocksWorld: el modelo completo (reconstrucción + pérdida de etiquetas de objeto) obtuvo 0,80 en izquierda-derecha, 0,88 en delante-detrás, 0,91 en debajo-encima, 0,86 en lejos-cerca y 0,76 en no sobre-sobre, frente a 0,50, 0,64, 0,54, 0,56 y 0,49 del modelo sin ninguno de los dos términos.
• Excepción: en el grupo fuera-dentro el modelo completo obtuvo 0,56, por debajo de las tres ablaciones (0,66, 0,62 y 0,78).
• Demostraciones encadenadas, en las que se mueve un solo objeto: todos los modelos alcanzaron una exactitud de 1 en C-shape y jump-over y de alrededor de 0,74 en off-on-off.
• La distancia de edición media de los planes inferidos baja hacia la verdad de referencia a medida que se usan más demostraciones (hasta 8); algunas curvas no convergen debido a oclusiones de objetos en algunas demostraciones.
• Datos: 1000 escenas sintéticas de BlocksWorld con 4 objetos cada una (72.000 relaciones, 40 % sin etiquetar) y, en el PR2, 3 tareas teleoperadas × 20 demostraciones que dan 2400 pares de objetos etiquetados y 6000 sin etiquetar; la predicción de pose se probó con 10 demostraciones adicionales por tarea.

Limitaciones

• La extracción de la esencia de la tarea solo funciona para tareas deterministas, en las que una única secuencia de acciones logra el objetivo.
• El agarre no se aborda; se supone que el robot ya sostiene el objeto que hay que mover.
• La segmentación no se aprende: las máscaras proceden de una Mask R-CNN preentrenada en el robot y del estado del simulador en BlocksWorld, y las instrucciones deben seguir una plantilla predefinida para el analizador.
• Las oclusiones de objetos en algunas demostraciones impiden que los planes inferidos converjan a la verdad de referencia.
• La evaluación abarca tres tareas sencillas sobre mesa; las tareas composicionales y los modificadores como 'más a la izquierda' quedan para trabajo futuro.

Impacto en el campo

Finalista del CoRL 2019 Best Paper Award, con 28 citas. La página oficial del proyecto enlaza el código de los experimentos, el código de generación de datos y los datos de entrenamiento fotorrealistas basados en CLEVR.

Resumen

El aprendizaje por demostración es un método eficaz para que los usuarios humanos indiquen el comportamiento deseado de un robot. Sin embargo, para la mayoría de las tareas no triviales de interés práctico, un aprendizaje por demostración eficiente depende de forma crucial del sesgo inductivo en la estructura elegida para las recompensas/costes y las políticas. Abordamos el caso en que este sesgo inductivo procede de un intercambio con un usuario humano. Proponemos un método en el que un agente de aprendizaje utiliza la capa de cuello de botella de información de un modelo neuronal variacional con muchos parámetros, con términos de pérdida auxiliares, para anclar conceptos abstractos como las relaciones espaciales. Los conceptos se mencionan en instrucciones en lenguaje natural y se manifiestan en el flujo de entrada sensorial de alta dimensión que el agente recibe del mundo. Evaluamos las propiedades del espacio latente del modelo aprendido en un entorno sintético fotorrealista y nos centramos en particular en examinar su utilidad para tareas posteriores. Además, mediante una serie de experimentos controlados de manipulación sobre mesa, demostramos que la variedad aprendida puede usarse para anclar demostraciones como planes simbólicos, que después pueden ejecutarse en un robot PR2.

Enlaces

• arXiv 1907.13627: https://arxiv.org/abs/1907.13627
• DOI 10.48550/arXiv.1907.13627: https://doi.org/10.48550/arXiv.1907.13627
• PDF: http://proceedings.mlr.press/v100/hristov20a/hristov20a.pdf
• Código: https://github.com/yordanh/spatial_relations_experiments
• Página del proyecto: https://sites.google.com/view/explain-n-repeat/