Evaluating Real-World Robot Manipulation Policies in Simulation

Autores: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

SIMPLER: versiones simuladas de código abierto de las configuraciones de Google Robot y de WidowX/BridgeData V2 cuyas clasificaciones de políticas siguen los resultados reales (MMRV 0,031, r 0,976 en Pick Coke Can).

Por qué importa

Los equipos que iteran sobre políticas de aprendizaje por imitación obtienen una señal barata y repetible que sigue el rendimiento real, y el artículo muestra que el MSE de acciones en validación es un mal indicador de este (tabla I). Los entornos se instalan con pip, usan la interfaz estándar de Gym y generan 3,5k pasos de simulación por segundo en una RTX 4090, lo que los autores cifran en una aceleración de 7× respecto a la evaluación real.

Problema

Las políticas de manipulación generalistas deben probarse en muchas tareas y escenas, y la evaluación con robots reales con esa amplitud es cara, lenta y difícil de reproducir entre laboratorios. Construir gemelos digitales completos para simulación también es costoso, ya que requiere geometría, materiales, iluminación y propiedades físicas hechos a mano.

Solución propuesta

Los autores construyen simulaciones que solo son lo bastante realistas como para que las tasas de éxito simuladas y reales clasifiquen las políticas de la misma manera. Cierran la brecha de control identificando la rigidez y el amortiguamiento del controlador simulado (recocido simulado sobre el error de seguimiento del efector final frente a datos de demostración existentes), y la brecha visual aplicando una 'pantalla verde' que coloca un fondo real detrás de los objetos simulados en primer plano y ajustando las texturas de los objetos y del brazo robótico a imágenes reales. También proponen la métrica Mean Maximum Rank Violation (MMRV), que pondera cada error de clasificación por la diferencia de rendimiento en el mundo real entre las políticas mal clasificadas.

Ideas clave

• No hace falta un gemelo digital exacto: la simulación solo tiene que conservar la clasificación relativa de las políticas.
• La r de Pearson por sí sola puede inducir a error, ya que premia un ajuste lineal y oscila con poco ruido cuando las políticas rinden de forma parecida; MMRV pondera cada violación de la clasificación por la diferencia de rendimiento real.
• Las correcciones visuales solo ayudan cuando se aplican juntas: el fondo con pantalla verde más el cajón y el robot con texturas ajustadas dieron el MMRV más bajo en la tarea del cajón (0,050), mientras que las combinaciones parciales no mejoraron la referencia de 0,087.
• La identificación del sistema del controlador importa: perturbar la rigidez y el amortiguamiento elevó el MMRV de Pick Coke Can de 0,031 a 0,070–0,100.
• La simulación puede predecir sensibilidades reales no probadas antes, como la sensibilidad de Octo-Base a la textura del brazo robótico, que después confirmó un experimento real con los brazos envueltos en papel de regalo.

Resultados principales

• Google Robot con Visual Matching: MMRV 0,031 / r 0,976 en Pick Coke Can, 0,111 / 0,855 en Move Near y 0,000 / 0,969 en Open Drawer and Place Apple. Para Open/Close Drawer, la Fig. 6 da 0,055 / 0,915, mientras que la columna Drawer de la tabla I da 0,027 / 0,942; el artículo no explica la diferencia.
• Promediado sobre las tareas de Google Robot (tabla I): Visual Matching MMRV 0,056 y r 0,924, Variant Aggregation 0,143 y 0,778, MSE de acciones en validación 0,375 y 0,308.
• WidowX con tareas de BridgeData V2: MMRV medio 0,014 y r 0,890; todas las políticas se clasificaron correctamente en todas las tareas salvo una.
• Cambios de distribución en dos checkpoints de RT-1: MMRV 0,000 / r 0,831 sin aumento de datos y 0,016 / 0,970 con él; los nuevos colores lisos de mesa redujeron el éxito real un 4 % y el simulado un 2 %, y las texturas con dibujo un 25 % el real y un 24 % el simulado.
• Reproducido en Isaac Sim con Variant Aggregation en Pick Coke Can y Move Near: MMRV 0,058 / r 0,919, frente a 0,082 / 0,923 en SAPIEN.
• Octo-Base obtuvo un 0 % en simulación con la textura del brazo sin ajustar y un 29,3 % con una ajustada; cambiar la masa del objeto, la fricción de la pinza o la fricción de la articulación del armario modificó las tasas de éxito hasta en un 15 % mientras las correlaciones se mantenían altas.

Limitaciones

• Solo se cubre la manipulación de objetos rígidos; los objetos deformables quedan para trabajos futuros con simulación de cuerpos blandos.
• La pantalla verde se limita a cámaras fijas y no reproduce las sombras de los objetos ni otros detalles visuales.
• Crear entornos sigue exigiendo trabajo manual para seleccionar recursos y montar escenas; los objetos articulados como el armario son los que más esfuerzo requieren.
• Las propiedades físicas se simplifican (densidades uniformes consultadas con GPT-4 o en búsquedas web, valores de fricción genéricos), y no se espera que las tasas de éxito absolutas coincidan con el mundo real, solo las clasificaciones.
• La evaluación real de una política en las tareas del cajón se detuvo tras 2 ensayos por riesgo de dañar el robot, por lo que ese MMRV es una estimación superior.

Impacto en el campo

Citado 426 veces. Los autores publican todos los entornos de SIMPLER, el código de inferencia de políticas para RT-1, RT-1-X y Octo, y una guía para construir nuevos entornos en simpler-env.github.io, además de scripts de línea de comandos para el ajuste de texturas (github.com/Jiayuan-Gu/GeTex).

Resumen

El campo de la robótica ha avanzado de forma significativa hacia políticas de manipulación robótica generalistas. Sin embargo, la evaluación en el mundo real de estas políticas no es escalable y se enfrenta a problemas de reproducibilidad, que probablemente empeorarán a medida que las políticas amplíen el abanico de tareas que pueden realizar. Identificamos las disparidades de control y visuales entre los entornos reales y simulados como retos clave para una evaluación simulada fiable y proponemos enfoques para mitigar estas brechas sin necesidad de crear gemelos digitales de fidelidad total de los entornos del mundo real. Después empleamos estos enfoques para crear SIMPLER, una colección de entornos simulados para la evaluación de políticas de manipulación en configuraciones habituales de robots reales. Mediante evaluaciones emparejadas en simulación y en el mundo real de políticas de manipulación, demostramos una fuerte correlación entre el rendimiento de las políticas en los entornos de SIMPLER y en el mundo real. Además, observamos que las evaluaciones en SIMPLER reflejan con precisión modos de comportamiento de las políticas en el mundo real, como la sensibilidad a diversos cambios de distribución. Publicamos como código abierto todos los entornos de SIMPLER junto con nuestro flujo de trabajo para crear nuevos entornos en https://simpler-env.github.io con el fin de facilitar la investigación sobre políticas de manipulación de propósito general y marcos de evaluación simulada.

Enlaces

• arXiv 2405.05941: https://arxiv.org/abs/2405.05941
• DOI https://doi.org/10.48550/arxiv.2405.05941: https://doi.org/https://doi.org/10.48550/arxiv.2405.05941
• PDF: https://arxiv.org/pdf/2405.05941v1
• Código: https://github.com/simpler-env/SimplerEnv
• Página del proyecto: https://simpler-env.github.io/