Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration

Autores: Andrei Haidu, Michael Beetz · ICRA 2021

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Personas realizan tareas de cocina en un mundo VR con simulación física; monitores en línea dividen sus acciones en eventos de alcance, agarre, transporte y depósito almacenados en KnowRob para que los robots los consulten.

Por qué importa

Las demostraciones salen ya segmentadas y anotadas en una ontología que el robot comparte, incluidas las partes del cuerpo virtual, por lo que no hace falta etiquetado manual. Los episodios pueden reproducirse y consultarse por tipo de acción, tipo de objeto y relaciones entre partes, por ejemplo todos los agarres de tiradores que pertenecen a la puerta de un frigorífico.

Problema

Los robots que aprenden manipulación suelen necesitar más experiencia de la que puede proporcionarse con un esfuerzo razonable, por lo que cada demostración debería aportar más información estructurada. El sistema AMEvA anterior de los autores solo seguía la cabeza y las manos, dejaba a los usuarios llegar a lugares que serían imposibles en la realidad, no podía usar otras partes del cuerpo como los codos o los pies y daba representaciones de acciones poco detalladas.

Solución propuesta

Los usuarios actúan en un entorno de Unreal Engine 4 simulado con NVIDIA PhysX, con seguimiento de cuerpo completo y de la mirada; las manos se accionan con controladores PID 3D, de modo que los objetos pesados tiran hacia atrás o se escurren, y los agarres resultan de la física usando estilos de agarre predefinidos. Un registrador subsimbólico almacena en MongoDB los estados del mundo y la mirada fotograma a fotograma, mientras que monitores en línea con matrices de sensores de contacto en las manos y gramáticas registran en KnowRob como eventos OWL los submovimientos de agarre, contacto, supported-by y pick-and-place.

Ideas clave

• Accionar las manos virtuales mediante controladores PID en lugar de un mapeo directo hace que el peso de los objetos importe, lo que induce estrategias del mundo real como levantar con las dos manos.
• Matrices de sensores de contacto en los dedos, el pulgar y la palma separan un agarre real de un simple contacto: un agarre necesita contacto de al menos dos conjuntos distintos.
• Las fases de movimiento sin rasgos claros de inicio o fin (inicio del alcance, fin de la recogida, inicio del depósito) pueden acotarse con regiones de interés y retroceso sobre el movimiento de los objetos almacenado en caché.
• La relación supported-by se detecta como contacto con una velocidad vertical relativa casi nula, de modo que un objeto transportado sobre una bandeja sigue contando como apoyado en ella.
• Los monitores de eventos siguen el estado de reposo (sleep) del motor de física y se desactivan para los objetos en reposo, lo que según los autores permite al sistema escalar a miles de objetos en tiempo real.

Resultados principales

• El artículo no presenta ninguna evaluación cuantitativa de exactitud ni de tiempos; sus resultados son demostraciones cualitativas y consultas de ejemplo.
• Un plato lleno levantado con un agarre lateral de una mano se gira y se sale de la mano por su peso, mientras que un agarre con dos manos lo levanta con éxito.
• Las acciones de pick-and-place se segmentan en línea en las fases de alcance, fijación, deslizamiento o recogida, transporte y depósito, mostradas en la Fig. 5 (a)–(j).
• Las consultas a KnowRob recuperan y reproducen acciones de deslizamiento sobre una caja de cereales, agarres de tiradores que forman parte de la puerta de un frigorífico y acciones de pick-and-place compuestas por subacciones.
• Las colecciones de MongoDB de cada episodio se indexan como árboles B al terminar el episodio, lo que da un tiempo de búsqueda O(log n).

Limitaciones

• El seguimiento de cuerpo completo es unidireccional: el avatar puede empujar objetos, pero no recibe retroalimentación, de modo que un usuario puede atravesar paredes o muebles y desestabilizar la simulación (según los autores).
• El inicio del alcance y el fin de la recogida no tienen rasgos distintivos y se aproximan con regiones de interés (según los autores).
• El detector de agarres no distingue el contexto del agarre, como transportar un objeto frente a sujetar el tirador de un cajón o un mueble inamovible (según los autores).
• La mirada se registra, pero aún no se usa para refinar la detección de acciones, y el gran conjunto de datos público sigue siendo trabajo futuro (según los autores).
• No se presenta ningún experimento con robots ni ninguna evaluación cuantitativa de la detección de eventos.

Impacto en el campo

Fue finalista del IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) y tiene 11 citas. El artículo no indica la publicación de código ni de datos; menciona como trabajo futuro la publicación de un gran conjunto de datos a través de openEASE.

Resumen

En este artículo presentamos un sistema capaz de recopilar y anotar actividades cotidianas realizadas por humanos y comprensibles para robots a partir de entornos virtuales. Los movimientos humanos se trasladan al mundo simulado mediante dispositivos comerciales de realidad virtual con capacidad de seguimiento de cuerpo completo y de los ojos. Todas las interacciones en el mundo virtual se simulan físicamente, por lo que los movimientos y sus efectos son estrechamente relacionables con el mundo real. Durante la ejecución de la actividad, un registrador de datos subsimbólico graba el entorno y la mirada humana fotograma a fotograma, lo que permite reproducir la escena y repetirla fuera de línea. Acoplados al motor de física, monitores en línea (registradores de datos simbólicos) analizan (usando diversas gramáticas) y registran los eventos, las acciones y sus efectos en el mundo simulado.

Enlaces

• arXiv 2011.13689: https://arxiv.org/abs/2011.13689
• DOI 10.1109/ICRA48506.2021.9562016: https://doi.org/10.1109/ICRA48506.2021.9562016
• PDF: https://arxiv.org/pdf/2011.13689v1