Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Lifelong Robot Learning

  • 다른 이름: continual robot learning, lifelong learning
  • 카테고리: Learning & autonomy › Learning from demonstration
  • 태그: continual-learning, robot-learning, catastrophic-forgetting, transfer-learning, imitation-learning

로봇이 하나의 모델로 시간에 걸쳐 일련의 작업을 습득하는 학습 설정으로, 앞선 기술을 유지하고 이를 재사용해 새 작업을 더 빨리 배우는 것을 목표로 한다.

정의

평생 로봇 학습(lifelong robot learning)은 고정된 데이터셋으로 한 번 학습되는 것이 아니라 작업에서 작업으로 계속 학습하는 로봇을 연구한다. Sebastian Thrun과 Tom Mitchell은 1990년대 중반에 이 용어를 사용하며, 서로 관련된 많은 작업을 마주하는 로봇은 앞선 작업의 지식을 이후 작업으로 가져가야 하고 그러면 각 작업에 더 적은 예제가 필요하다고 주장했다. 엄밀한 현대적 정식화에서는 하나의 정책이 작업들을 순차적으로 학습하며, 새 작업을 학습하는 동안 앞선 작업의 데이터에 접근할 수 없다.

핵심적인 어려움은 치명적 망각(catastrophic forgetting)이다. 신경망을 새 데이터로 학습시키면 앞선 작업이 의존하던 가중치가 바뀌어 그 작업들의 성능이 떨어진다. 방법은 크게 세 계열로 나뉜다. 재생(replay)은 앞선 시연이나 경험의 작은 버퍼를 유지하며 학습에 섞는다. 정규화(regularization)는 elastic weight consolidation처럼 앞선 작업에 중요했던 파라미터의 변화에 페널티를 준다. 구조적(architectural) 방법은 PackNet처럼 각 작업에 고유한 파라미터나 하위 네트워크를 주거나, 시간이 지나며 새 모듈을 추가한다. 결과는 순방향 전이(과거 학습이 새 작업을 빠르게 하는지), 역방향 전이(새 학습이 옛 작업을 해치는지 돕는지, 음수 값은 망각을 뜻함), 그리고 지금까지 본 모든 작업에 걸친 전체 성공률로 보고된다.

로보틱스는 이 문제를 더 어렵게도, 더 유망하게도 만든다. 로봇 데이터는 비싸므로 재사용이 중요하고, 작업들은 물체, 장면, 동작을 공유하므로 전이할 것이 많다. LIBERO 같은 벤치마크는 물체와 공간 배치에 대한 지식의 전이를 행동의 전이와 분리하도록 설계된, 절차적으로 생성된 매니퓰레이션 작업 묶음을 제공한다. 평생 학습은 모든 작업을 한꺼번에 사용할 수 있는 다중 작업 학습과도, 사전 학습된 모델을 하나의 새 작업에 미세 조정하는 것과도 다른데, 후자 역시 앞선 능력을 잠식할 수 있다.

중요한 이유

가정, 창고, 연구실의 로봇은 배치된 뒤에 새 작업을 만난다. 매번 모든 데이터로 처음부터 다시 학습하는 것은 비용이 크고, 옛 데이터가 보관되지 않을 수도 있다. 평생 학습 방법은 로봇이 옛 기술을 조용히 잃지 않으면서 새 기술을 추가할 수 있는지를 결정한다.

주요 응용

  • 배치 후 새 집안일을 배우는 서비스 로봇과 가정용 로봇
  • 매니퓰레이션 정책을 새 물체와 도구로 확장
  • 배치된 로봇 군단을 새 현장과 배치에 적응
  • 작업 묶음에서 연속 모방 학습 벤치마킹
  • 언어 조건부 정책에 시간에 걸쳐 기술 추가

실제 사례

한 팀이 몇 주마다 원격 조작 시연으로부터 새 작업을 얻는 매니퓰레이션 정책을 유지 관리한다. 업데이트마다 새 시연에 더해 앞선 시연의 일부를 담은 재생 버퍼로 학습하고, 배포 전에 이전에 학습한 모든 작업에 대한 평가를 다시 실행한다. 작업별, 학습 단계별 성공률 행렬을 추적하며, 앞선 작업의 성능이 떨어지면 재생 비중을 늘리거나 네트워크의 일부를 동결한다. 같은 행렬은 새 작업이 얼마나 빨리 학습되는지를 처음부터 학습한 정책과 비교하여 순방향 전이도 보여 준다.

흔한 오해

  • 평생 학습은 새 작업마다 미세 조정하는 것일 뿐이다 — 단순한 순차적 미세 조정은 보통 앞선 작업을 잊는 기준선이며, 평생 학습 방법은 이를 막기 위해 존재한다
  • 옛 데이터를 모두 보관하면 문제가 해결된다 — 망각은 피하지만 비용이 작업마다 늘어나며, 엄밀한 설정은 앞선 데이터가 제한되어 있거나 사용할 수 없다고 가정한다
  • 평생 학습은 다중 작업 학습과 같다 — 다중 작업 학습은 모든 작업을 한꺼번에 학습하는 반면, 평생 학습은 작업을 하나씩 차례로 본다
  • 망각을 피하는 것이 목표의 전부다 — 과거 작업이 새 작업을 더 빨리 배우게 하는 순방향 전이도 똑같이 그 일부다

알아야 할 사람

  • 모방 학습과 강화 학습을 연구하는 로봇 학습 연구자
  • 배치된 로봇의 정책을 유지 관리하는 머신러닝 엔지니어
  • 로봇이 새 기술을 얻는 방식을 계획하는 서비스 로봇 개발자
  • 로봇 학습 벤치마크를 설계하는 연구자

관련 기술

  • 연속 학습(Continual Learning)
  • Elastic Weight Consolidation
  • 경험 재생(Experience Replay)
  • 다중 작업 학습(Multitask Learning)
  • 전이 학습(Transfer Learning)
  • LIBERO

관련 용어

  • Imitation Learning
  • Behavior Cloning
  • Curriculum Learning
  • Goal-Conditioned Policy
  • Foundation Model
  • Reinforcement Learning

관련 프로젝트

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
  • OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
  • Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.