Covariate Shift
- 類別: Learning & autonomy › Learning from demonstration
- 標籤: imitation-learning, distribution-shift, generalization, sim-to-real, robot-learning
模型訓練時的輸入分布與使用時遇到的輸入分布不一致，而輸入到輸出的關係維持不變；在模仿學習中，這是誤差累積的根源。
定義
共變量偏移（Covariate shift）是分布偏移的一種形式：輸入的分布在訓練與部署之間改變，p_train(x) ≠ p_test(x)，而模型試圖學習的條件關係 p(y | x) 維持不變。於是，在訓練輸入上擬合的模型，可能在其訓練過的區域內很準確，卻在它如今更常遇到的區域內不可靠。在傳統機器學習中，這個問題常以測試輸入密度與訓練輸入密度的比值，為訓練樣本重新加權來處理，這種做法與 Shimodaira（2000）相關。
在機器人學習中，這個術語最常用於行為複製。以監督式學習在專家狀態上訓練出來的策略，只看過專家造訪過的狀態。實際執行時，策略自身的小錯誤會把它帶到稍微超出這個集合的狀態，在那裡它的預測更差，進而導致更大的錯誤，以及離資料更遠的狀態。訓練輸入來自專家的狀態分布，測試輸入卻來自學習者的狀態分布，而這個落差會沿著軌跡不斷擴大。Ross 與 Bagnell 分析了這個效應，並證明在最壞情況下，行為複製的期望誤差會隨任務時域呈二次方成長。DAgger 與相關的互動式方法，透過在學習者自己造訪的狀態上蒐集專家標籤來解決這個問題。其他補救方式包括在示範時注入雜訊，讓資料涵蓋恢復行為、資料擴增、動作分塊，以及加入修正性示範。
同樣的概念也出現在模擬到現實的轉移中，此時來自模擬的影像或感測器讀值等輸入，其分布與實體機器人上的不同；也出現在離線強化學習中，此時學習所得的策略會造訪資料集未涵蓋的狀態，並選擇資料集未涵蓋的動作。在模擬到現實的情況下，領域隨機化、領域不變表示與領域適應可以縮小輸入的不匹配。在所有這些情境中，實際的症狀都一樣：在保留的訓練資料上驗證準確率良好，接著卻在實際系統上失敗。
為何重要
共變量偏移說明了為什麼一個在驗證集上幾乎完美吻合專家動作的策略，仍可能在機器人上幾秒內就失敗。認識這一點，有助於決定資料蒐集方式、在行為複製與互動式方法之間的選擇，以及模擬到現實流程的設計與測試方式。
主要應用
- 診斷行為複製與視覺運動策略的失敗
- 設計 DAgger 與人為介入等互動式資料蒐集方式
- 感知與控制模型的模擬到現實轉移
- 使用固定資料集的離線強化學習
- 部署條件不同時為訓練資料重新加權
實際應用
一個團隊利用遠端操作小型移動機器人繞行走廊多圈的資料，為它訓練駕駛策略。離線時，預測的轉向與操作員非常接近，但在機器人上，策略會慢慢偏向牆壁，接著猛烈轉向，因為訓練資料中從未出現機器人靠近牆壁的情況。團隊刻意加入恢復資料，由操作員從偏離中央的位置出發再轉回來，然後進行幾輪 DAgger：由策略駕駛，同時把操作員的轉向修正記錄為標籤。他們以每圈的閉迴路成功率來追蹤，而不是離線預測誤差，因為只有前者能反映這種偏移。
常見誤解
- 共變量偏移代表模型過度擬合 — 它也可能發生在一個在訓練分布內泛化良好的模型上；問題在於部署時的輸入來自不同的分布
- 更多專家示範就能消除它 — 如果策略仍會到達專家從未造訪的狀態，沿著專家路徑增加資料幫助不大；恢復資料或互動式標註才直接針對問題
- 共變量偏移與任何其他分布偏移都一樣 — 共變量偏移假設輸入與輸出的關係不變；如果某個輸入對應的正確動作改變了，那是另一種偏移
誰需要了解
- 模仿學習與行為複製的實務工作者
- 模擬到現實與感知工程師
- 離線強化學習研究人員
- 在機器人上部署學習模型的 ML 工程師
相關技術
- 資料集聚合（Dataset Aggregation，DAgger）
- 重要性加權（Importance Weighting）
- 領域適應（Domain Adaptation）
- 資料擴增（Data Augmentation）
- 分布外偵測（Out-of-Distribution Detection）
相關術語
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
- OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
- Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.