Covariate Shift

Categoria: Learning & autonomy › Learning from demonstration
Tags: imitation-learning, distribution-shift, generalization, sim-to-real, robot-learning

Um descompasso entre a distribuição de entradas com que um modelo foi treinado e a que ele encontra em uso, enquanto a relação entre entrada e saída permanece a mesma; no aprendizado por imitação, a raiz dos erros que se acumulam.

Definição

Mudança de covariáveis (covariate shift) é uma forma de mudança de distribuição em que a distribuição das entradas muda entre o treinamento e a implantação, p_train(x) ≠ p_test(x), enquanto a relação condicional p(y | x) que o modelo tenta aprender permanece a mesma. Um modelo ajustado às entradas de treinamento pode então ser preciso onde foi treinado e pouco confiável nas regiões que agora vê com mais frequência. No aprendizado de máquina clássico, ela costuma ser tratada reponderando as amostras de treinamento pela razão entre as densidades de entrada de teste e de treinamento, uma abordagem associada a Shimodaira (2000).

No aprendizado robótico, o termo é usado sobretudo para a clonagem de comportamento. Uma política treinada por aprendizado supervisionado em estados de um especialista vê apenas os estados que o especialista visitou. Em execução, os pequenos erros da própria política a levam a estados ligeiramente fora desse conjunto, onde suas previsões são piores, o que leva a erros maiores e a estados ainda mais distantes dos dados. As entradas de treinamento vêm da distribuição de estados do especialista, mas as de teste vêm da distribuição do aprendiz, e a diferença cresce ao longo da trajetória. Ross e Bagnell analisaram esse efeito e mostraram que, no pior caso, o erro esperado da clonagem de comportamento cresce quadraticamente com o horizonte da tarefa. O DAgger e métodos interativos relacionados o tratam coletando rótulos do especialista nos estados que o próprio aprendiz visita. Outros remédios incluem injetar ruído durante as demonstrações para que os dados cubram o comportamento de recuperação, aumento de dados, chunking de ações (action chunking) e acrescentar demonstrações corretivas.

A mesma ideia aparece na transferência sim-to-real, em que entradas como imagens ou leituras de sensores da simulação têm distribuição diferente das do robô real, e no aprendizado por reforço offline, em que a política aprendida visita estados e escolhe ações que o conjunto de dados não cobre. A randomização de domínio, as representações invariantes ao domínio e a adaptação de domínio reduzem o descompasso das entradas no caso sim-to-real. Em todos esses cenários, o sintoma prático é o mesmo: boa precisão de validação em dados de treinamento reservados, seguida de falhas no sistema real.

Por que importa

A mudança de covariáveis explica por que uma política que reproduz quase perfeitamente as ações do especialista em um conjunto de validação ainda pode falhar em segundos no robô. Reconhecê-la orienta a coleta de dados, a escolha entre clonagem de comportamento e métodos interativos e a forma como os pipelines sim-to-real são projetados e testados.

Principais aplicações

Diagnóstico de falhas da clonagem de comportamento e de políticas visuomotoras
Projeto de coleta interativa de dados, como DAgger e intervenções humanas
Transferência sim-to-real de modelos de percepção e de controle
Aprendizado por reforço offline com conjuntos de dados fixos
Reponderação dos dados de treinamento quando as condições de implantação são diferentes

Na prática

Uma equipe treina uma política de condução para um pequeno robô móvel a partir de voltas teleoperadas em um corredor. Offline, a direção prevista coincide de perto com a do operador, mas no robô a política deriva lentamente em direção a uma parede e depois esterça de forma descontrolada, porque os dados de treinamento nunca continham o robô perto de uma parede. A equipe acrescenta dados de recuperação deliberados, nos quais o operador parte de posições fora do centro e conduz o robô de volta, e depois executa algumas rodadas de DAgger em que a política conduz enquanto as correções de direção do operador são registradas como rótulos. A equipe acompanha o sucesso em malha fechada por volta em vez do erro de previsão offline, já que só o primeiro reflete a mudança.

Equívocos comuns

Mudança de covariáveis significa que o modelo sofreu overfitting — ela pode ocorrer com um modelo que generaliza bem dentro da distribuição de treinamento; o problema é que as entradas na implantação vêm de uma distribuição diferente
Mais demonstrações de especialistas vão eliminá-la — mais dados ao longo do caminho do especialista ajudam pouco se a política ainda chega a estados que o especialista nunca visitou; dados de recuperação ou rotulagem interativa atacam o problema diretamente
A mudança de covariáveis e qualquer outra mudança de distribuição são a mesma coisa — a mudança de covariáveis supõe que a relação entrada-saída não muda; se a ação correta para uma dada entrada muda, trata-se de outro tipo de mudança

Quem deve saber

Profissionais de aprendizado por imitação e clonagem de comportamento
Engenheiros de sim-to-real e de percepção
Pesquisadores de aprendizado por reforço offline
Engenheiros de ML que implantam modelos aprendidos em robôs

Tecnologias relacionadas

Dataset Aggregation (DAgger)
Ponderação por importância (Importance Weighting)
Adaptação de domínio (Domain Adaptation)
Aumento de dados (Data Augmentation)
Detecção fora da distribuição (Out-of-Distribution Detection)

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.