APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

Autores: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

APriCoT divide un cambio de agarre en la mano en cuatro primitivas cortas de RL construidas a partir de detach, crossover y attach, de modo que una Shadow Hand Lite simulada gira un objeto media vuelta y alcanza el agarre objetivo.

Por qué importa

La mayor parte de la manipulación en la mano aprendida recompensa solo la rotación y no comprueba el agarre final, que es lo que decide si la herramienta puede usarse después. El artículo muestra que descomponer por estado de contacto hace que esta tarea pueda aprenderse donde dos métodos de referencia publicados fracasaron. Como la recompensa se comparte entre primitivas, pueden añadirse nuevas transiciones sin diseñar nuevas recompensas.

Problema

La manipulación de herramientas en la mano debe a la vez mover una herramienta dentro de la mano y terminar en un agarre adecuado para la siguiente tarea, como sujetar una caja de modo que su abertura quede libre para verter. Aprender esto con RL es difícil porque el agarre objetivo solo se alcanza tras muchos cambios de estado de contacto, lo que hace que la recompensa sea escasa, y porque los movimientos de los dedos necesarios varían mucho según el estado de contacto, lo que obliga a una exploración amplia y poco eficiente en muestras.

Solución propuesta

APriCoT construye un grafo de transiciones de estado de contacto a partir de tres representaciones de acción (detach, crossover, attach), y solo admite estados con un agarre prensil, al menos tres dedos en contacto y los dedos en el orden pulgar-índice-medio-anular. La tarea objetivo, girar media vuelta un objeto alargado y volver a un agarre de precisión, se divide en cuatro primitivas que mueven cada una un dedo por encima del objeto, con una política por primitiva, una recompensa por pasos compartida y cada política partiendo de los estados de salida de la anterior. Las políticas se entrenan en Isaac Gym con PPO en un esquema profesor-estudiante, en el que el estudiante infiere la forma del objeto a partir de los ángulos articulares ordenados y medidos.

Ideas clave

• Describir un cambio de agarre como transiciones de estado de contacto convierte una tarea larga con recompensa escasa en primitivas cortas en las que los dedos realizan movimientos similares.
• Empezar y terminar cada primitiva en el estado más estable, con todos los dedos sobre el objeto, hace que los estados iniciales sean fáciles de muestrear en simulación y fáciles de encadenar entre políticas.
• Entrenar cada primitiva sobre toda la secuencia detach-crossover-attach, en lugar de cada paso por separado, evita movimientos inútiles, como levantar un dedo demasiado antes del crossover.
• La diferencia entre los ángulos articulares ordenados y los medidos permite a la política estudiante codificar la forma del objeto; el t-SNE de sus variables latentes se agrupa por forma.

Resultados principales

• Ambos métodos de referencia fracasaron en la tarea: un método de rotación en la mano modificado (Baseline A) giró el objeto pero no alcanzó el agarre deseado, y un método para objetos que se pueden pellizcar (Baseline B) hizo rodar el objeto durante el crossover y lo dejó caer.
• APriCoT completó la rotación de media vuelta y alcanzó el agarre de precisión deseado; la introducción indica una tasa de éxito del 90 % para objetos de diversas formas.
• En la prueba de robustez (1.000 estados iniciales muestreados por forma, profundidad de 0,02-0,035 m, ε2 de ≃0 a 1), la sección IV-B indica un éxito superior al 90 % para casi todas las formas, con tasas similares en formas no usadas en el entrenamiento.
• La sección IV-B también indica alrededor de un 75 % de éxito para objetos elípticos gruesos (gran profundidad, ε2 alto), lo que los autores atribuyen a que la curvatura los hace deslizarse lateralmente.
• El entrenamiento ejecutó 32.768 entornos paralelos en Isaac Gym en una GPU NVIDIA RTX 3090, con simulación a 120 Hz y control a 20 Hz.

Limitaciones

• Todos los experimentos son en simulación; los autores esperan que la aleatorización del dominio y el aprendizaje profesor-estudiante ayuden a la transferencia sim-to-real, pero no lo probaron en hardware.
• La pose del objeto, como la rotación de alabeo (roll), no puede detectarse solo a partir de los ángulos articulares, y no detectarla puede desestabilizar el objeto y hacerlo caer; los autores prevén añadir información visual.
• Centrarse solo en las transiciones de estado de contacto no garantiza una orientación deseada del objeto tras la manipulación.
• El grafo de transiciones de estado de contacto se diseña a mano, lo que los autores califican de laborioso para muchas operaciones.
• Solo se demuestra una operación (media vuelta de vuelta a un agarre de precisión, cuatro primitivas).

Impacto en el campo

Ganador del Humanoids 2024 Best Oral Presentation Award y citado 2 veces. El artículo enumera sus hiperparámetros de recompensa, los rangos de aleatorización y los tamaños de las redes. No indica que se publique código ni modelo.

Resumen

La manipulación de herramientas en la mano es una operación que no solo manipula una herramienta dentro de la mano (es decir, manipulación en la mano), sino que además consigue, tras la manipulación, un agarre adecuado para una tarea. Este estudio pretende lograr una habilidad de manipulación de herramientas en la mano mediante aprendizaje por refuerzo profundo. La dificultad de aprender esta habilidad surge porque esta manipulación requiere (A) explorar cambios de estado de contacto a largo plazo para conseguir el agarre deseado y (B) movimientos muy variados en función de la transición de estado de contacto. (A) provoca una escasez de recompensa por un agarre exitoso, y (B) obliga a un agente de RL a explorar ampliamente el espacio de estados y acciones para aprender acciones muy variadas, lo que da lugar a ineficiencia muestral. Para abordar estos problemas, este estudio propone Action Primitives based on Contact-state Transition (APriCoT). APriCoT descompone la manipulación en primitivas de acción a corto plazo describiendo la operación como una transición de estado de contacto basada en tres representaciones de acción (detach, crossover, attach). En cada primitiva de acción, los dedos deben realizar acciones a corto plazo y similares. Entrenando una política para cada primitiva podemos mitigar los problemas derivados de (A) y (B). Este estudio se centra en una operación fundamental como ejemplo de manipulación de herramientas en la mano: girar media vuelta un objeto alargado sujeto con un agarre de precisión para volver al agarre inicial. Los resultados experimentales demostraron que nuestro método tuvo éxito tanto en la rotación como en la consecución del agarre deseado, a diferencia de los estudios existentes. Además, se observó que la política era robusta a cambios en la forma del objeto.

Enlaces

• arXiv 2407.11436: https://arxiv.org/abs/2407.11436
• DOI 10.1109/Humanoids58906.2024.10769968: https://doi.org/10.1109/Humanoids58906.2024.10769968
• PDF: https://arxiv.org/pdf/2407.11436v1