Covariate Shift

Categoría: Learning & autonomy › Learning from demonstration
Etiquetas: imitation-learning, distribution-shift, generalization, sim-to-real, robot-learning

Un desajuste entre la distribución de entradas con la que se entrenó un modelo y la que encuentra en uso, mientras la relación entre entrada y salida se mantiene igual; en el aprendizaje por imitación, el origen de los errores acumulativos.

Definición

Desplazamiento de covariables (covariate shift) es una forma de desplazamiento de distribución en la que la distribución de las entradas cambia entre el entrenamiento y el despliegue, p_train(x) ≠ p_test(x), mientras que la relación condicional p(y | x) que el modelo intenta aprender se mantiene igual. Un modelo ajustado a las entradas de entrenamiento puede entonces ser preciso donde se entrenó y poco fiable en las regiones que ahora ve con más frecuencia. En el aprendizaje automático clásico se suele tratar reponderando las muestras de entrenamiento por el cociente entre las densidades de entrada de prueba y de entrenamiento, un enfoque asociado a Shimodaira (2000).

En el aprendizaje robótico, el término se usa sobre todo para la clonación del comportamiento. Una política entrenada por aprendizaje supervisado sobre estados de un experto solo ve los estados que visitó el experto. En ejecución, los pequeños errores de la propia política la llevan a estados ligeramente fuera de ese conjunto, donde sus predicciones son peores, lo que provoca errores mayores y estados aún más alejados de los datos. Las entradas de entrenamiento proceden de la distribución de estados del experto, pero las de prueba proceden de la del aprendiz, y la diferencia crece a lo largo de la trayectoria. Ross y Bagnell analizaron este efecto y demostraron que, en el peor caso, el error esperado de la clonación del comportamiento crece cuadráticamente con el horizonte de la tarea. DAgger y los métodos interactivos relacionados lo abordan recogiendo etiquetas del experto en los estados que visita el propio aprendiz. Otros remedios son inyectar ruido durante las demostraciones para que los datos cubran el comportamiento de recuperación, el aumento de datos, el chunking de acciones (action chunking) y añadir demostraciones correctivas.

La misma idea aparece en la transferencia sim-to-real, donde entradas como imágenes o lecturas de sensores de la simulación tienen una distribución distinta de las del robot real, y en el aprendizaje por refuerzo offline, donde la política aprendida visita estados y elige acciones que el conjunto de datos no cubre. La aleatorización de dominio, las representaciones invariantes al dominio y la adaptación de dominio reducen el desajuste de las entradas en el caso sim-to-real. En todos estos escenarios el síntoma práctico es el mismo: buena precisión de validación en datos de entrenamiento reservados, seguida de fallos en el sistema real.

Por qué importa

El desplazamiento de covariables explica por qué una política que reproduce casi a la perfección las acciones del experto en un conjunto de validación puede fallar en segundos en el robot. Reconocerlo orienta la recogida de datos, la elección entre la clonación del comportamiento y los métodos interactivos, y la forma de diseñar y probar los procesos sim-to-real.

Aplicaciones clave

Diagnóstico de fallos de la clonación del comportamiento y de las políticas visuomotoras
Diseño de la recogida interactiva de datos, como DAgger y las intervenciones humanas
Transferencia sim-to-real de modelos de percepción y de control
Aprendizaje por refuerzo offline con conjuntos de datos fijos
Reponderación de los datos de entrenamiento cuando las condiciones de despliegue difieren

En la práctica

Un equipo entrena una política de conducción para un pequeño robot móvil a partir de vueltas teleoperadas por un pasillo. Offline, la dirección predicha coincide estrechamente con la del operador, pero en el robot la política deriva lentamente hacia una pared y luego gira de forma brusca, porque los datos de entrenamiento nunca contuvieron al robot cerca de una pared. El equipo añade datos de recuperación deliberados, en los que el operador parte de posiciones descentradas y vuelve a dirigir el robot al centro, y después ejecuta unas cuantas rondas de DAgger en las que la política conduce mientras se registran como etiquetas las correcciones de dirección del operador. Siguen el éxito en lazo cerrado por vuelta en lugar del error de predicción offline, ya que solo el primero refleja el desplazamiento.

Ideas erróneas comunes

El desplazamiento de covariables significa que el modelo está sobreajustado — puede ocurrir con un modelo que generaliza bien dentro de la distribución de entrenamiento; el problema es que las entradas en el despliegue proceden de una distribución distinta
Más demostraciones de expertos lo eliminarán — más datos a lo largo del recorrido del experto ayudan poco si la política sigue llegando a estados que el experto nunca visitó; los datos de recuperación o el etiquetado interactivo atacan el problema directamente
El desplazamiento de covariables y cualquier otro desplazamiento de distribución son lo mismo — el desplazamiento de covariables supone que la relación entrada-salida no cambia; si la acción correcta para una entrada dada cambia, se trata de otro tipo de desplazamiento

Quién debería saberlo

Profesionales del aprendizaje por imitación y de la clonación del comportamiento
Ingenieros de sim-to-real y de percepción
Investigadores en aprendizaje por refuerzo offline
Ingenieros de ML que despliegan modelos aprendidos en robots

Tecnologías relacionadas

Dataset Aggregation (DAgger)
Ponderación por importancia (Importance Weighting)
Adaptación de dominio (Domain Adaptation)
Aumento de datos (Data Augmentation)
Detección fuera de distribución (Out-of-Distribution Detection)

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.