Covariate Shift

• 카테고리: Learning & autonomy › Learning from demonstration
• 태그: imitation-learning, distribution-shift, generalization, sim-to-real, robot-learning

입력에서 출력으로의 관계는 그대로인 채, 모델이 학습한 입력 분포와 사용 중에 만나는 입력 분포가 어긋나는 것. 모방 학습에서는 누적 오차의 근원이다.

정의

공변량 이동(covariate shift)은 분포 이동의 한 형태로, 모델이 학습하려는 조건부 관계 p(y | x)는 그대로인 채 입력의 분포가 학습과 배치 사이에 바뀌는 것, 즉 p_train(x) ≠ p_test(x)인 경우이다. 그러면 학습 입력에 맞춰진 모델은 학습된 영역에서는 정확하지만 이제 더 자주 보게 되는 영역에서는 신뢰할 수 없을 수 있다. 고전적인 기계 학습에서는 흔히 학습 샘플에 테스트 입력 밀도와 학습 입력 밀도의 비를 가중치로 주어 다루며, 이 접근은 Shimodaira(2000)와 연관된다.

로봇 학습에서 이 용어는 행동 복제(behavior cloning)에 대해 가장 자주 쓰인다. 전문가 상태에 대해 지도 학습으로 학습된 정책은 전문가가 방문한 상태만 본다. 실행 시에는 정책 자신의 작은 실수가 그 집합을 약간 벗어난 상태로 정책을 데려가고, 그곳에서는 예측이 더 나빠서 더 큰 실수와 데이터에서 더 먼 상태로 이어진다. 학습 입력은 전문가의 상태 분포에서 오지만 테스트 입력은 학습자의 상태 분포에서 오며, 그 차이는 궤적을 따라 커진다. Ross와 Bagnell은 이 효과를 분석하여, 최악의 경우 행동 복제의 기대 오차가 작업 구간 길이에 대해 이차적으로 증가함을 보였다. DAgger와 관련된 상호작용 방법들은 학습자 자신이 방문하는 상태에서 전문가 레이블을 수집하여 이 문제를 해결한다. 그 밖의 해결책으로는 시연 중에 노이즈를 주입해 데이터가 복구 행동을 포함하게 하는 것, 데이터 증강, 행동 청킹, 교정 시연 추가가 있다.

같은 개념은 시뮬레이션에서 나온 이미지나 센서 값 같은 입력이 실제 로봇에서의 입력과 분포가 다른 Sim-to-Real 전이에서도, 그리고 학습된 정책이 데이터셋이 포괄하지 않는 상태를 방문하고 행동을 고르는 오프라인 강화 학습에서도 나타난다. Sim-to-Real의 경우 도메인 무작위화, 도메인 불변 표현, 도메인 적응이 입력 불일치를 줄인다. 이 모든 설정에서 실제 증상은 같다. 따로 남겨 둔 학습 데이터에서의 검증 정확도는 좋은데, 이어서 실제 시스템에서는 실패한다.

중요한 이유

공변량 이동은 검증 세트에서 전문가 행동과 거의 완벽하게 일치하는 정책이 왜 로봇에서는 몇 초 만에 실패할 수 있는지를 설명한다. 이를 알아보면 데이터 수집, 행동 복제와 상호작용 방법 사이의 선택, 그리고 Sim-to-Real 파이프라인의 설계 및 시험 방식이 정해진다.

주요 응용

• 행동 복제 정책과 시각-운동 정책의 실패 진단
• DAgger나 사람의 개입 같은 상호작용형 데이터 수집 설계
• 인식 및 제어 모델의 Sim-to-Real 전이
• 고정된 데이터셋을 이용한 오프라인 강화 학습
• 배치 조건이 다를 때 학습 데이터의 가중치 재조정

실제 사례

한 팀이 복도를 원격 조작으로 여러 바퀴 돈 기록으로 소형 모바일 로봇의 주행 정책을 학습시킨다. 오프라인에서는 예측한 조향이 조작자와 거의 일치하지만, 로봇에서는 정책이 서서히 벽 쪽으로 흘러가다가 마구 조향한다. 학습 데이터에 벽 근처에 있는 로봇이 한 번도 들어 있지 않았기 때문이다. 팀은 조작자가 중심에서 벗어난 위치에서 출발해 다시 조향해 돌아오는 복구 데이터를 의도적으로 추가하고, 이어서 정책이 주행하는 동안 조작자의 조향 수정을 레이블로 기록하는 DAgger 라운드를 몇 번 실행한다. 팀은 오프라인 예측 오차가 아니라 바퀴당 폐루프 성공률을 추적한다. 이동을 반영하는 것은 후자뿐이기 때문이다.

흔한 오해

• 공변량 이동은 모델이 과적합되었다는 뜻이다 — 학습 분포 안에서는 일반화가 잘 되는 모델에서도 일어날 수 있다. 문제는 배치 시의 입력이 다른 분포에서 온다는 점이다
• 전문가 시연을 더 늘리면 사라진다 — 정책이 여전히 전문가가 한 번도 방문하지 않은 상태에 도달한다면, 전문가 경로를 따라 데이터를 늘려도 별 도움이 되지 않는다. 복구 데이터나 상호작용형 레이블링이 문제를 직접 겨냥한다
• 공변량 이동과 다른 모든 분포 이동은 같다 — 공변량 이동은 입력-출력 관계가 변하지 않는다고 가정한다. 주어진 입력에 대한 올바른 행동이 바뀐다면 그것은 다른 종류의 이동이다

알아야 할 사람

• 모방 학습 및 행동 복제 실무자
• Sim-to-Real 및 인식 엔지니어
• 오프라인 강화 학습 연구자
• 학습된 모델을 로봇에 배치하는 ML 엔지니어

관련 기술

• Dataset Aggregation(DAgger)
• 중요도 가중(Importance Weighting)
• 도메인 적응(Domain Adaptation)
• 데이터 증강(Data Augmentation)
• 분포 외 탐지(Out-of-Distribution Detection)

관련 용어

• Behavior Cloning
• DAgger
• Imitation Learning
• Sim2Real
• Domain Randomization
• Offline Reinforcement Learning

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
• Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.