LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

Autores: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

LIBERO es un benchmark simulado de 130 tareas de manipulación condicionadas por lenguaje con demostraciones humanas, creado para estudiar cómo los robots transfieren conocimiento declarativo y procedimental entre tareas.

Por qué importa

Como tres de los conjuntos separan el conocimiento espacial, de objetos y de objetivos, una caída del rendimiento puede atribuirse al tipo de conocimiento que se está perdiendo. Los experimentos también cuestionan la práctica habitual: los algoritmos de aprendizaje a lo largo de la vida probados tuvieron menor transferencia hacia adelante que el simple ajuste fino secuencial, y el preentrenamiento supervisado ingenuo podía perjudicar el aprendizaje a lo largo de la vida posterior.

Problema

La investigación en aprendizaje a lo largo de la vida ha estudiado sobre todo la transferencia de conocimiento declarativo (entidades y conceptos) en tareas de visión y lenguaje. La toma de decisiones robótica también necesita conocimiento procedimental, saber cómo actuar, y no había forma de analizar sistemáticamente qué tipo de conocimiento transfiere u olvida un agente cuando falla tras aprender nuevas tareas.

Solución propuesta

LIBERO genera tareas proceduralmente sobre robosuite: las plantillas de lenguaje se extraen de las anotaciones de actividades de Ego4D, los archivos de escena PDDL especifican objetos, disposiciones y estados iniciales, y los objetivos son conjunciones de predicados como On(A, B) u Open(X). Se ofrecen cuatro conjuntos: LIBERO-Spatial, LIBERO-Object y LIBERO-Goal (10 tareas cada uno, cada uno aislando un tipo de conocimiento) y LIBERO-100 (90 tareas de horizonte corto y 10 de horizonte largo), con 50 demostraciones teleoperadas por tarea. El estudio compara tres arquitecturas de políticas (ResNet-RNN, ResNet-T, ViT-T) y cinco esquemas de aprendizaje (ajuste fino secuencial, ER, EWC, PackNet y aprendizaje multitarea) entrenados con clonación de comportamiento.

Ideas clave

• La arquitectura de la política importa tanto como el algoritmo de aprendizaje a lo largo de la vida: los backbones temporales basados en transformadores (ResNet-T, ViT-T) funcionaron mucho mejor que ResNet-RNN de media.
• Ningún codificador visual fue el mejor en todos los casos: con ER, ResNet-T superó a ViT-T en todos los conjuntos excepto LIBERO-Object, lo que los autores relacionan con que el ViT maneja una mayor variedad de objetos.
• Los tres algoritmos de aprendizaje a lo largo de la vida tuvieron menor transferencia hacia adelante que el ajuste fino secuencial; PackNet evita el olvido, pero su capacidad por tarea cada vez menor lo perjudicó en LIBERO-Long.
• Las descripciones de tareas semánticamente ricas codificadas con BERT, CLIP o GPT-2 no dieron ninguna mejora estadísticamente significativa frente a los embeddings de Task-ID.
• La pérdida de clonación de comportamiento es una señal engañosa para seleccionar checkpoints; EWC tuvo a veces la pérdida más baja sin una buena tasa de éxito, por lo que debe usarse la tasa de éxito.

Resultados principales

• Con ResNet-T, el ajuste fino secuencial tuvo la mayor transferencia hacia adelante en todos los conjuntos: 0,54 (Long), 0,72 (Spatial), 0,78 (Object) y 0,77 (Goal).
• PackNet tuvo el menor olvido (transferencia hacia atrás negativa de 0,06 a 0,17) y el mejor AUC en Spatial, Object y Goal (0,63, 0,60, 0,75), pero ER tuvo el mejor AUC en LIBERO-Long (0,32 frente a 0,25).
• EWC fue el peor de los algoritmos de aprendizaje a lo largo de la vida, con un AUC de 0,02 en LIBERO-Long y de 0,06 en Spatial y Goal.
• En LIBERO-Long con PackNet, ViT-T alcanzó un AUC de 0,34 frente a 0,25 de ResNet-T y 0,03 de ResNet-RNN.
• Los embeddings de lenguaje en LIBERO-Long (ResNet-T con ER) dieron una transferencia hacia adelante de 0,48 (BERT), 0,52 (CLIP), 0,46 (GPT-2) y 0,50 (Task-ID), sin diferencias significativas.
• Los resultados se promedian sobre tres semillas; cada tarea se entrena durante 50 épocas con 50 demostraciones y se evalúa en 20 ejecuciones.

Limitaciones

• Según los autores: los experimentos son un estudio inicial, y quedan abiertas mejores arquitecturas para la información espacial y temporal, algoritmos con mejor transferencia hacia adelante y un preentrenamiento que ayude al aprendizaje a lo largo de la vida.
• Según los autores: como el aprendiz a lo largo de la vida aprende principalmente de humanos, preservar la privacidad de los usuarios puede llegar a ser crucial a largo plazo.
• Los resultados dependen del orden de las tareas: el rendimiento de ER y PackNet varió entre cinco ordenaciones, y la diferencia fue estadísticamente significativa para PackNet.
• Todas las tareas se ejecutan en simulación sobre robosuite; el artículo no reporta experimentos con robots reales.
• Solo se evalúa la clonación de comportamiento a partir de demostraciones; el aprendizaje por refuerzo se deja de lado por la dificultad de las recompensas dispersas.

Impacto en el campo

Citado 607 veces (cifra tal como se indica). El artículo publica el pipeline de generación procedural de tareas, cuatro conjuntos de tareas que suman 130 tareas y demostraciones teleoperadas por humanos para cada tarea, con el código y los conjuntos de datos enlazados desde el sitio web del proyecto.

Resumen

El aprendizaje a lo largo de la vida ofrece un paradigma prometedor para construir un agente generalista que aprende y se adapta durante toda su vida útil. A diferencia de los problemas tradicionales de aprendizaje a lo largo de la vida en los dominios de imagen y texto, que implican principalmente la transferencia de conocimiento declarativo sobre entidades y conceptos, el aprendizaje a lo largo de la vida en la toma de decisiones (LLDM) requiere también la transferencia de conocimiento procedimental, como acciones y comportamientos. Para avanzar en la investigación en LLDM, presentamos LIBERO, un nuevo benchmark de aprendizaje a lo largo de la vida para la manipulación robótica. En concreto, LIBERO destaca cinco temas de investigación clave en LLDM: 1) cómo transferir de forma eficiente conocimiento declarativo, conocimiento procedimental o una mezcla de ambos; 2) cómo diseñar arquitecturas de políticas eficaces y 3) algoritmos eficaces para LLDM; 4) la robustez de un aprendiz a lo largo de la vida respecto al orden de las tareas; y 5) el efecto del preentrenamiento del modelo para LLDM. Desarrollamos un pipeline de generación procedural ampliable que, en principio, puede generar infinitas tareas. Con fines de evaluación comparativa, creamos cuatro conjuntos de tareas (130 tareas en total) que usamos para investigar los temas de investigación mencionados. Para facilitar un aprendizaje eficiente en muestras, proporcionamos datos de demostración de alta calidad teleoperados por humanos para todas las tareas. Nuestros extensos experimentos presentan varios hallazgos reveladores o incluso inesperados: el ajuste fino secuencial supera a los métodos existentes de aprendizaje a lo largo de la vida en transferencia hacia adelante, ninguna arquitectura de codificador visual sobresale en todos los tipos de transferencia de conocimiento, y el preentrenamiento supervisado ingenuo puede perjudicar el rendimiento de los agentes en el LLDM posterior. Consulte el sitio web https://libero-project.github.io para el código y los conjuntos de datos.

Enlaces

• arXiv 2306.03310: https://arxiv.org/abs/2306.03310
• DOI https://doi.org/10.52202/075280-1939: https://doi.org/https://doi.org/10.52202/075280-1939
• PDF: https://arxiv.org/pdf/2306.03310v1
• Código: https://github.com/Lifelong-Robot-Learning/LIBERO
• Página del proyecto: https://libero-project.github.io/