Covariate Shift

Catégorie: Learning & autonomy › Learning from demonstration
Mots-clés: imitation-learning, distribution-shift, generalization, sim-to-real, robot-learning

Un écart entre la distribution d'entrées sur laquelle un modèle a été entraîné et celle qu'il rencontre en service, alors que la relation entre entrée et sortie reste la même ; en apprentissage par imitation, la source de l'accumulation des erreurs.

Définition

Le décalage de covariables (covariate shift) est une forme de décalage de distribution dans laquelle la distribution des entrées change entre l'entraînement et le déploiement, p_train(x) ≠ p_test(x), tandis que la relation conditionnelle p(y | x) que le modèle cherche à apprendre reste la même. Un modèle ajusté sur les entrées d'entraînement peut alors être précis là où il a été entraîné et peu fiable dans les régions qu'il voit désormais plus souvent. En apprentissage automatique classique, on le traite souvent en repondérant les échantillons d'entraînement par le rapport des densités d'entrée de test et d'entraînement, une approche associée à Shimodaira (2000).

En apprentissage robotique, le terme est surtout employé pour le clonage comportemental (behavior cloning). Une politique entraînée par apprentissage supervisé sur des états d'expert ne voit que les états visités par l'expert. À l'exécution, ses propres petites erreurs l'emmènent vers des états légèrement en dehors de cet ensemble, où ses prédictions sont moins bonnes, ce qui entraîne des erreurs plus grandes et des états encore plus éloignés des données. Les entrées d'entraînement proviennent de la distribution d'états de l'expert, mais les entrées de test proviennent de celle de l'apprenant, et l'écart se creuse le long de la trajectoire. Ross et Bagnell ont analysé cet effet et montré que, dans le pire des cas, l'erreur espérée du clonage comportemental croît de façon quadratique avec l'horizon de la tâche. DAgger et les méthodes interactives apparentées y répondent en collectant des étiquettes d'expert sur les états que l'apprenant visite lui-même. D'autres remèdes consistent à injecter du bruit pendant les démonstrations pour que les données couvrent des comportements de rattrapage, à augmenter les données, à utiliser l'action chunking et à ajouter des démonstrations correctives.

La même idée apparaît dans le transfert sim-to-real, où des entrées comme les images ou les mesures de capteurs issues de la simulation diffèrent en distribution de celles du robot réel, et dans l'apprentissage par renforcement hors ligne, où la politique apprise visite des états et choisit des actions que le jeu de données ne couvre pas. La randomisation de domaine, les représentations invariantes au domaine et l'adaptation de domaine réduisent le décalage des entrées dans le cas sim-to-real. Dans tous ces cadres, le symptôme pratique est le même : une bonne précision de validation sur des données d'entraînement mises de côté, suivie d'échecs sur le système réel.

Pourquoi c'est important

Le décalage de covariables explique pourquoi une politique qui reproduit presque parfaitement les actions de l'expert sur un jeu de validation peut quand même échouer en quelques secondes sur le robot. Le reconnaître oriente la collecte de données, le choix entre clonage comportemental et méthodes interactives, ainsi que la conception et le test des chaînes sim-to-real.

Applications principales

Diagnostic des échecs du clonage comportemental et des politiques visuomotrices
Conception de collectes de données interactives comme DAgger et les interventions humaines
Transfert sim-to-real de modèles de perception et de commande
Apprentissage par renforcement hors ligne avec des jeux de données fixes
Repondération des données d'entraînement lorsque les conditions de déploiement diffèrent

En pratique

Une équipe entraîne une politique de conduite pour un petit robot mobile à partir de tours de couloir téléopérés. Hors ligne, la direction prédite suit de près celle de l'opérateur, mais sur le robot la politique dérive lentement vers un mur puis braque de façon désordonnée, parce que les données d'entraînement ne contenaient jamais le robot près d'un mur. L'équipe ajoute délibérément des données de rattrapage, dans lesquelles l'opérateur part de positions décentrées et revient en braquant, puis effectue quelques tours de DAgger pendant lesquels la politique conduit tandis que les corrections de direction de l'opérateur sont enregistrées comme étiquettes. Elle suit le succès en boucle fermée par tour plutôt que l'erreur de prédiction hors ligne, puisque seul le premier reflète le décalage.

Idées reçues

Le décalage de covariables signifie que le modèle a surappris — il peut se produire avec un modèle qui généralise bien à l'intérieur de la distribution d'entraînement ; le problème est que les entrées au déploiement proviennent d'une autre distribution
Davantage de démonstrations d'expert le feront disparaître — plus de données le long de la trajectoire de l'expert aident peu si la politique atteint encore des états que l'expert n'a jamais visités ; les données de rattrapage ou l'étiquetage interactif s'attaquent directement au problème
Le décalage de covariables et tout autre décalage de distribution sont la même chose — le décalage de covariables suppose que la relation entrée-sortie est inchangée ; si l'action correcte pour une entrée donnée change, il s'agit d'un autre type de décalage

Qui devrait le savoir

Praticiens de l'apprentissage par imitation et du clonage comportemental
Ingénieurs sim-to-real et perception
Chercheurs en apprentissage par renforcement hors ligne
Ingénieurs ML qui déploient des modèles appris sur des robots

Technologies associées

Dataset Aggregation (DAgger)
Pondération par importance (Importance Weighting)
Adaptation de domaine (Domain Adaptation)
Augmentation de données (Data Augmentation)
Détection hors distribution (Out-of-Distribution Detection)

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.