Covariate Shift
- 类别: Learning & autonomy › Learning from demonstration
- 标签: imitation-learning, distribution-shift, generalization, sim-to-real, robot-learning
模型训练时的输入分布与使用时遇到的输入分布不匹配，而输入到输出的关系保持不变；在模仿学习中，它是误差累积的根源。
定义
协变量偏移（Covariate shift）是分布偏移的一种形式：输入的分布在训练和部署之间发生变化，p_train(x) ≠ p_test(x)，而模型试图学习的条件关系 p(y | x) 保持不变。于是，一个在训练输入上拟合的模型可能在其训练过的区域内准确，而在它现在更常遇到的区域内不可靠。在经典机器学习中，这个问题通常通过按测试输入密度与训练输入密度之比对训练样本重新加权来处理，这一方法与 Shimodaira（2000）相关联。
在机器人学习中，这个术语最常用于行为克隆。一个在专家状态上通过监督学习训练出的策略，只见过专家访问过的状态。运行时，策略自身的小错误会把它带到略微超出这一集合的状态，在那里它的预测更差，从而导致更大的错误，以及离数据更远的状态。训练输入来自专家的状态分布，而测试输入来自学习者的状态分布，这一差距会沿着轨迹不断扩大。Ross 和 Bagnell 分析了这一效应，并证明在最坏情况下，行为克隆的期望误差随任务时域呈二次增长。DAgger 及相关的交互式方法通过在学习者自己访问的状态上采集专家标签来解决这个问题。其他补救措施包括在示范过程中注入噪声以使数据涵盖恢复行为、数据增强、动作分块，以及加入纠正性示范。
同样的思想也出现在仿真到现实的迁移中，此时来自仿真的图像或传感器读数等输入在分布上不同于真实机器人上的输入；也出现在离线强化学习中，此时学习得到的策略会访问数据集未覆盖的状态并选择数据集未覆盖的动作。在仿真到现实的情形中，域随机化、域不变表示和域适应可以减小输入不匹配。在所有这些设定中，实际症状都是一样的：在留出的训练数据上验证准确率很好，随后却在真实系统上失败。
为何重要
协变量偏移解释了为什么一个在验证集上几乎完美匹配专家动作的策略，仍可能在机器人上几秒内就失败。认识到这一点，可以指导数据采集、在行为克隆与交互式方法之间的选择，以及仿真到现实流程的设计与测试方式。
主要应用
- 诊断行为克隆和视觉运动策略的失败
- 设计 DAgger 和人工干预等交互式数据采集方式
- 感知和控制模型的仿真到现实迁移
- 使用固定数据集的离线强化学习
- 在部署条件不同时对训练数据重新加权
实际应用
一个团队用遥操作驾驶小型移动机器人绕走廊行驶的多圈数据，为它训练驾驶策略。离线时，预测的转向与操作员的操作非常接近，但在机器人上，策略会慢慢偏向墙壁，然后剧烈地转向，因为训练数据中从未包含机器人靠近墙壁的情形。团队有意加入恢复数据，即操作员从偏离中心的位置出发并转向回到中间，然后进行几轮 DAgger：由策略驾驶，同时把操作员的转向修正记录为标签。他们按每圈统计闭环成功率，而不是离线预测误差，因为只有前者能反映这种偏移。
常见误解
- 协变量偏移意味着模型过拟合了 — 它也可能发生在一个在训练分布内泛化良好的模型上；问题在于部署时的输入来自不同的分布
- 更多的专家示范就能消除它 — 如果策略仍会到达专家从未访问过的状态，那么沿专家路径增加更多数据帮助不大；恢复数据或交互式标注才直接针对这个问题
- 协变量偏移和任何其他分布偏移是一回事 — 协变量偏移假设输入与输出的关系不变；如果某个给定输入对应的正确动作发生了变化，那是另一种偏移
谁需要了解
- 模仿学习和行为克隆从业者
- 仿真到现实工程师和感知工程师
- 离线强化学习研究人员
- 在机器人上部署学习模型的 ML 工程师
相关技术
- 数据集聚合（Dataset Aggregation，DAgger）
- 重要性加权（Importance Weighting）
- 域适应（Domain Adaptation）
- 数据增强（Data Augmentation）
- 分布外检测（Out-of-Distribution Detection）
相关术语
相关项目
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
- OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
- Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.