DAgger

• También llamado: Dataset Aggregation
• Categoría: Learning & autonomy › Learning from demonstration
• Etiquetas: imitation-learning, policy-distillation, covariate-shift, robot-learning, sim-to-real

Un algoritmo de aprendizaje por imitación que ejecuta repetidamente la propia política del aprendiz, hace que un experto etiquete los estados a los que llega y vuelve a entrenar con el conjunto de datos creciente para evitar la acumulación de errores.

Definición

DAgger, abreviatura de Dataset Aggregation (agregación de conjuntos de datos), es un algoritmo de aprendizaje por imitación presentado por Stéphane Ross, Geoffrey Gordon y J. Andrew Bagnell en 2011. Aborda la principal debilidad de la clonación de comportamiento simple. Una política entrenada solo con demostraciones de un experto ve los estados que visitó el experto; una vez desplegada, pequeños errores la llevan a estados que el experto nunca visitó, donde no tiene datos de entrenamiento y tiende a cometer errores mayores. Este desajuste entre los estados de entrenamiento y los de despliegue se conoce como desplazamiento de covariables (covariate shift), y los errores resultantes se acumulan a lo largo de la tarea.

DAgger corrige el desajuste recogiendo datos sobre la propia distribución de estados del aprendiz. El bucle es sencillo: entrenar una política inicial con datos del experto; ejecutar esa política, o una mezcla de ella y del experto, para visitar estados nuevos; preguntar al experto qué acción habría tomado en cada estado visitado; añadir estos estados etiquetados al conjunto de datos; volver a entrenar con todo el conjunto de datos agregado; y repetir. El artículo original plantea esto como un problema de aprendizaje en línea sin arrepentimiento (no-regret) y demuestra que el error de la política crece aproximadamente de forma lineal con la longitud de la tarea, en lugar de cuadrática, como puede ocurrir con la clonación de comportamiento.

El requisito práctico es un experto al que se pueda consultar en estados arbitrarios. Eso es fácil cuando el experto es un planificador, un controlador programado o una política en simulación, y más difícil cuando es una persona, que debe etiquetar estados que no eligió. Variantes como HG-DAgger permiten que una persona tome el control solo cuando el aprendiz se equivoca. En el aprendizaje robótico actual, DAgger es la forma estándar de destilar una política maestra privilegiada, entrenada con aprendizaje por refuerzo sobre el estado real del simulador, en una política alumna que solo usa sensores a bordo como cámaras.

Por qué importa

La mayoría de las políticas robóticas aprendidas se entrenan a partir de demostraciones o de un maestro más fuerte, y la diferencia entre los estados vistos en el entrenamiento y los alcanzados en el despliegue es una de las principales causas de fallo. DAgger es el método más sencillo y mejor comprendido para cerrar esa brecha, y está en la base de muchos pipelines maestro–alumno que se usan para llevar a robots reales habilidades entrenadas en simulación.

Aplicaciones clave

• Destilación de políticas de simulación privilegiadas en políticas alumnas basadas en visión
• Entrenamiento de controladores de locomoción con patas y de parkour para la transferencia sim-to-real
• Aprendizaje de políticas de conducción y de navegación de drones a partir de planificadores o de expertos humanos
• Aprendizaje por imitación interactivo en el que una persona corrige al robot durante la ejecución
• Compresión de varias políticas de habilidades especialistas en una única política generalista

En la práctica

Un equipo que entrena un cuadrúpedo para trepar y saltar obstáculos entrena primero varias políticas especialistas con aprendizaje por refuerzo en simulación, cada una con acceso a las alturas exactas del terreno. Después entrena una única política basada en visión que solo ve una cámara de profundidad y la propiocepción. En cada ronda, la política de visión conduce el robot simulado; en cada paso se consulta al especialista correspondiente qué acción tomaría, y se guarda el par formado por la observación y la acción del especialista. La política de visión se vuelve a entrenar con todos los datos recogidos hasta el momento, y el ciclo se repite hasta que se ajusta lo bastante a los especialistas. Como los estados los generó el alumno, sus datos de entrenamiento incluyen los tropiezos y las vistas de cámara extrañas que encontrará en el robot real.

Ideas erróneas comunes

• DAgger es clonación de comportamiento con más datos — la diferencia clave es que los datos nuevos proceden de estados que visita el propio aprendiz, no de más demostraciones del experto
• DAgger necesita un experto humano — sirve cualquier experto capaz de etiquetar estados arbitrarios, y en robótica suele ser una política maestra o un planificador simulados
• El experto debe controlar el robot mientras se recogen los datos — en DAgger normalmente actúa el aprendiz y el experto solo etiqueta, que es lo que pone de manifiesto los errores propios del aprendiz
• DAgger elimina la necesidad de un experto tras la primera ronda — el experto debe estar disponible para etiquetar estados en cada ronda de entrenamiento

Quién debería saberlo

• Investigadores en aprendizaje robótico que usan aprendizaje por imitación
• Ingenieros que construyen pipelines sim-to-real maestro–alumno
• Desarrolladores de locomoción con patas y de autonomía de drones
• Estudiantes de aprendizaje por imitación y aprendizaje por refuerzo

Tecnologías relacionadas

• Clonación de comportamiento (Behavior Cloning)
• HG-DAgger
• Destilación de políticas (Policy Distillation)
• Isaac Gym
• Aprendizaje por refuerzo (Reinforcement Learning)

Términos relacionados

• Imitation Learning
• Behavior Cloning
• Teacher-Student Training
• Reinforcement Learning
• Sim2Real

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
• Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.