Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Lifelong Robot Learning

  • También llamado: continual robot learning, lifelong learning
  • Categoría: Learning & autonomy › Learning from demonstration
  • Etiquetas: continual-learning, robot-learning, catastrophic-forgetting, transfer-learning, imitation-learning

Un escenario de aprendizaje en el que un robot adquiere una secuencia de tareas a lo largo del tiempo con un único modelo, con el objetivo de conservar las habilidades anteriores y reutilizarlas para aprender tareas nuevas más rápido.

Definición

Aprendizaje robótico permanente (lifelong robot learning) estudia robots que siguen aprendiendo, tarea tras tarea, en lugar de entrenarse una sola vez con un conjunto de datos fijo. Sebastian Thrun y Tom Mitchell usaron el término a mediados de la década de 1990, sosteniendo que un robot que se enfrenta a muchas tareas relacionadas debería trasladar el conocimiento de las tareas anteriores a las posteriores y necesitar así menos ejemplos para cada una. En la formulación moderna estricta, una única política aprende las tareas en secuencia y pierde el acceso a los datos de las tareas anteriores mientras aprende una nueva.

La dificultad central es el olvido catastrófico: entrenar una red neuronal con datos nuevos cambia los pesos de los que dependían las tareas anteriores, y el rendimiento en esas tareas cae. Los métodos se agrupan en tres grandes familias. La repetición (replay) guarda un pequeño búfer de demostraciones o experiencia anteriores y lo mezcla en el entrenamiento. La regularización penaliza los cambios en los parámetros que importaban para las tareas anteriores, como en la consolidación elástica de pesos (elastic weight consolidation). Los métodos arquitectónicos dan a cada tarea sus propios parámetros o subredes, como en PackNet, o añaden módulos nuevos con el tiempo. Los resultados se informan con la transferencia hacia delante (si lo aprendido antes acelera las tareas nuevas), la transferencia hacia atrás (si el nuevo aprendizaje perjudica o ayuda a las tareas antiguas, donde los valores negativos significan olvido) y el éxito global en todas las tareas vistas hasta el momento.

La robótica hace el problema a la vez más difícil y más prometedor. Los datos de robots son caros, así que la reutilización importa, y las tareas comparten objetos, escenas y movimientos, así que hay mucho que transferir. Benchmarks como LIBERO ofrecen conjuntos de tareas de manipulación generados proceduralmente, diseñados para separar la transferencia de conocimiento sobre objetos y disposiciones espaciales de la transferencia de comportamientos. El aprendizaje permanente se diferencia del aprendizaje multitarea, en el que todas las tareas están disponibles a la vez, y del ajuste fino de un modelo preentrenado en una única tarea nueva, que también puede erosionar capacidades anteriores.

Por qué importa

Los robots en hogares, almacenes y laboratorios se encuentran con tareas nuevas después de desplegarse. Volver a entrenar desde cero con todos los datos cada vez es costoso, y puede que los datos antiguos no se conserven. Los métodos de aprendizaje permanente deciden si un robot puede añadir una habilidad nueva sin perder silenciosamente una antigua.

Aplicaciones clave

  • Robots de servicio y domésticos que aprenden nuevas tareas del hogar tras su despliegue
  • Extensión de políticas de manipulación a objetos y herramientas nuevos
  • Adaptación de una flota de robots desplegada a nuevos emplazamientos y disposiciones
  • Evaluación comparativa del aprendizaje por imitación continuo en conjuntos de tareas
  • Incorporación de habilidades a políticas condicionadas por lenguaje a lo largo del tiempo

En la práctica

Un equipo mantiene una política de manipulación que incorpora tareas nuevas a partir de demostraciones teleoperadas cada pocas semanas. En cada actualización entrenan con las nuevas demostraciones más un búfer de repetición que contiene una fracción de las demostraciones anteriores, y luego repiten la evaluación de cada tarea aprendida previamente antes de la publicación. Llevan una matriz de tasas de éxito por tarea y etapa de entrenamiento; si una tarea anterior cae, amplían la proporción de repetición o congelan partes de la red. La misma matriz muestra la transferencia hacia delante, al comparar la rapidez con que se aprenden las tareas nuevas frente a una política entrenada desde cero.

Ideas erróneas comunes

  • El aprendizaje permanente es solo ajuste fino en cada tarea nueva — el ajuste fino secuencial ingenuo es la línea base que suele olvidar las tareas anteriores; los métodos de aprendizaje permanente existen para evitarlo
  • Conservar todos los datos antiguos resuelve el problema — evita el olvido, pero el coste crece con cada tarea, y el escenario estricto supone que los datos anteriores son limitados o no están disponibles
  • El aprendizaje permanente es lo mismo que el aprendizaje multitarea — el aprendizaje multitarea entrena con todas las tareas a la vez, mientras que el aprendizaje permanente las ve una tras otra
  • Evitar el olvido es todo el objetivo — la transferencia hacia delante, en la que las tareas pasadas hacen que las nuevas se aprendan más rápido, forma parte de él en la misma medida

Quién debería saberlo

  • Investigadores en aprendizaje robótico que trabajan en aprendizaje por imitación y aprendizaje por refuerzo
  • Ingenieros de aprendizaje automático que mantienen políticas en robots desplegados
  • Desarrolladores de robots de servicio que planifican cómo adquieren los robots nuevas habilidades
  • Investigadores que diseñan benchmarks de aprendizaje robótico

Tecnologías relacionadas

  • Aprendizaje continuo (Continual Learning)
  • Consolidación elástica de pesos (Elastic Weight Consolidation)
  • Repetición de experiencia (Experience Replay)
  • Aprendizaje multitarea (Multitask Learning)
  • Aprendizaje por transferencia (Transfer Learning)
  • LIBERO

Términos relacionados

  • Imitation Learning
  • Behavior Cloning
  • Curriculum Learning
  • Goal-Conditioned Policy
  • Foundation Model
  • Reinforcement Learning

Proyectos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
  • OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
  • Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.