A System for General In-Hand Object Re-Orientation

Autores: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

RL sin modelo con destilación maestro-estudiante, inicialización desde poses elevadas y un currículo de gravedad reorienta más de 2000 objetos en una Shadow Hand simulada, con la palma hacia arriba o hacia abajo, sin información de forma.

Por qué importa

Las políticas alcanzan orientaciones objetivo arbitrarias en SO(3) sin ninguna información sobre la forma del objeto, lo que los autores consideran su hallazgo más sorprendente y sugiere que la percepción de la forma puede importar menos de lo esperado para la reorientación en la mano. Los casos con la mano hacia abajo y con ayuda de una mesa cubren configuraciones de la mano que los trabajos previos de reorientación aprendida, centrados en una mano con la palma hacia arriba, no abordaban.

Problema

Reorientar un objeto dentro de una mano de varios dedos implica controlar un espacio de acciones de alta dimensión mientras los contactos entre dedos y objeto se establecen y se rompen continuamente. Los métodos previos se mostraron sobre todo en simulación con formas sencillas y modelos de objeto conocidos, o necesitaban aparatos adicionales como captura de movimiento en robots reales, no generalizaban entre objetos y casi todos suponían que la mano mira hacia arriba.

Solución propuesta

Una política maestra se entrena con PPO sobre el estado privilegiado del simulador (incluidas las velocidades del objeto y de las yemas de los dedos) con más de 2000 objetos de EGAD y YCB, y luego se destila con DAgger en políticas estudiante que ven o bien las posiciones articulares más la pose del objeto, o bien solo una nube de puntos voxelizada de dos cámaras RGBD procesada por una red convolucional 3D dispersa (Sparse3D-IMPALA-Net). Para una mano hacia abajo sin mesa, los episodios empiezan desde los estados finales de una política separada de levantamiento del objeto, y la gravedad se introduce paso a paso mediante un currículo.

Ideas clave

• Políticas sin acceso a la forma del objeto reorientan muchos objetos no vistos; con la mano hacia arriba, la estrategia aprendida lanza el objeto con un giro y lo atrapa cuando su orientación coincide con el objetivo.
• El estado privilegiado, como las velocidades del objeto y de las yemas de los dedos, entrena mejores políticas más rápido, y la destilación con DAgger a un estado reducido de 31 dimensiones (posiciones articulares, posición del objeto, diferencia de orientación) conserva la mayor parte de la tasa de éxito.
• Con la mano hacia abajo y sin apoyo, el entrenamiento directo da un 0 % de éxito; empezar los episodios desde los estados finales de una política de levantamiento y añadir un currículo de gravedad hacen que la tarea se pueda aprender.
• Usar la distancia de Chamfer entre las nubes de puntos actual y objetivo del objeto como prueba de éxito adicional resuelve el caso de los objetos simétricos cuyas distintas orientaciones se ven idénticas para las cámaras.
• Las políticas entrenadas con objetos de 50-150 g reorientan en zero-shot objetos YCB con la masa cambiada a 0,3-0,5 kg con alrededor de un 75 % de éxito.

Resultados principales

• Mano hacia arriba, maestra RNN con estado completo (entrenada y probada sin aleatorización de dominio): 95,95 ± 0,8 % de éxito en EGAD y 80,40 ± 1,6 % en YCB.
• Mano hacia arriba, estudiante RNN con estado reducido: 91,96 ± 1,5 % en EGAD y 81,04 ± 0,5 % en YCB.
• Mano hacia abajo sobre una mesa, MLP con estado completo: 95,31 ± 0,9 % (EGAD) y 81,59 ± 0,7 % (YCB); la política de levantamiento del objeto usada para la inicialización tiene éxito en el 97,80 % (EGAD) y el 90,11 % (YCB).
• Mano hacia abajo en el aire, estudiante con estado reducido: 74,10 ± 2,3 % (EGAD) y 45,22 ± 2,1 % (YCB); con el currículo de gravedad YCB sube a 67,33 ± 1,9 %.
• Transferencia zero-shot entre conjuntos de datos, mano hacia arriba, estado completo: 68,82 ± 1,7 % para EGAD→YCB y 96,41 ± 1,2 % para YCB→EGAD.
• Políticas de visión por objeto (θ̄ = 0,2 rad, umbral de Chamfer 0,01): 89,67 ± 1,2 % con una taza y 84,52 ± 1,4 % con un avión de juguete, 50,21-66,57 % con piezas simétricas de Lego Duplo.

Limitaciones

• Todos los experimentos son en simulación (una Shadow Hand simulada en Isaac Gym); los autores limitaron el alcance por la pandemia y solo dan evidencia indirecta de la transferencia al mundo real (aleatorización de dominio y un análisis de los pares máximos).
• Las políticas de visión se entrenaron una por objeto en seis objetos por el coste de cómputo; una sola política de visión para muchos objetos queda para trabajo futuro, y se señala la memoria de la GPU como principal cuello de botella.
• El éxito varía mucho con la forma del objeto: los objetos largos, pequeños o delgados causan el 60 % de 100 fallos analizados en YCB, y otro 19 % termina cerca del objetivo pero fuera del umbral de 0,1 rad.
• Los autores no descartan del todo que la estrategia de lanzar y atrapar explote el simulador, aunque su análisis de fuerzas indica lo contrario.
• La reorientación con la mano hacia abajo y sin apoyo queda muy por debajo del caso hacia arriba en YCB (45,22 % para el estudiante sin el currículo, 67,33 % con él).

Impacto en el campo

Ganador del CoRL 2021 Best Paper Award, con 351 citas. El artículo publica vídeos de las políticas aprendidas en la página del proyecto, y la página oficial del proyecto enlaza un repositorio de código (Improbable-AI/dexenv).

Resumen

La reorientación de objetos en la mano ha sido un problema difícil en robótica debido al espacio de actuación de alta dimensión y al cambio frecuente del estado de contacto entre los dedos y los objetos. Presentamos un marco sencillo sin modelo que puede aprender a reorientar objetos tanto con la mano hacia arriba como hacia abajo. Demostramos la capacidad de reorientar más de 2000 objetos geométricamente distintos en ambos casos. Las políticas aprendidas muestran un fuerte rendimiento de transferencia zero-shot a objetos nuevos. Aportamos evidencia de que estas políticas son aptas para funcionar en el mundo real destilándolas para que usen observaciones fácilmente disponibles en el mundo real. Los vídeos de las políticas aprendidas están disponibles en: https://taochenshh.github.io/projects/in-hand-reorientation.

Enlaces

• arXiv 2111.03043: https://arxiv.org/abs/2111.03043
• DOI 10.48550/arXiv.2111.03043: https://doi.org/10.48550/arXiv.2111.03043
• PDF: https://proceedings.mlr.press/v164/chen22a/chen22a.pdf
• Código: https://github.com/Improbable-AI/dexenv
• Página del proyecto: https://taochenshh.github.io/projects/in-hand-reorientation