Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Meta-Reinforcement Learning

  • 다른 이름: meta-RL
  • 카테고리: Learning & autonomy › RL & simulation
  • 태그: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning

서로 관련된 많은 작업으로 학습하여 에이전트가 적응하는 법을 배우고, 같은 계열의 새 작업을 적은 경험만으로 풀 수 있게 하는 강화 학습.

정의

메타 강화 학습(meta-reinforcement learning, meta-RL)은 학습 그 자체를 학습해야 할 대상으로 다룬다. 하나의 작업에 대한 정책을 학습시키는 대신, 에이전트는 서로 관련된 작업들의 분포, 예를 들어 서로 다른 목표에 도달하기, 질량이 서로 다른 물체 밀기, 서로 다른 문 열기 등에 걸쳐 학습된다. 목표는 같은 분포에서 뽑은 새 작업이 주어졌을 때 처음부터 학습하는 대신 적은 양의 새 경험, 흔히 몇 개의 에피소드만으로 적응할 수 있게 하는 것이다. 학습은 하나의 작업에 적응하는 내부 루프와, 작업들 전반에 걸쳐 적응 절차를 개선하는 외부 루프로 나뉜다.

흔히 쓰이는 방법은 세 계열이다. model-agnostic meta-learning(MAML, Finn, Abbeel, Levine, 2017) 같은 경사 기반(gradient-based) 방법은, 새 작업에서 몇 번의 경사 단계만 거치면 좋은 정책이 되는 초기 네트워크 가중치를 학습한다. RL²(Duan 등, 2016) 같은 순환(recurrent) 또는 문맥 기반(context-based) 방법은 상태, 행동, 보상의 이력을 순환 신경망이나 다른 시퀀스 모델에 넣으며, 그 은닉 상태가 현재 작업에 대해 알게 된 것을 담으므로 경사 업데이트 없이 적응이 일어난다. PEARL(Rakelly 등, 2019) 같은 잠재 작업 추론(latent task inference) 방법은 경험으로부터 확률적 작업 변수를 추론하는 인코더를 학습하고 정책을 그 변수에 조건화하며, 이는 오프폴리시 학습도 지원한다.

메타 강화 학습은 부분 관측 의사결정과 밀접하게 관련되어 있다. 알려지지 않은 작업은 에이전트가 행동하면서 추론해야 하는 상태의 숨은 부분으로 볼 수 있다. 메타 강화 학습은 다중 작업 강화 학습(multi-task reinforcement learning)과 다르다. 다중 작업 강화 학습은 대개 작업의 정체가 주어진 상태에서 하나의 정책이 알려진 고정된 작업 집합을 잘 수행하도록 학습시키며, 보지 못한 작업에 대한 적응은 측정하지 않는다. Meta-World 같은 벤치마크는 같은 조작 작업 집합에서 두 설정을 모두 시험한다. 결과는 학습 작업 분포가 얼마나 넓은지에 크게 좌우된다. 메타 강화 학습은 학습 작업의 변형에는 잘 적응하고 구조적으로 다른 작업에는 잘 적응하지 못하는 경향이 있다.

중요한 이유

로봇은 끊임없이 변화를 만난다. 서로 다른 물체, 페이로드, 지형, 마모가 그렇다. 메타 강화 학습은 학습된 제어기가 처음부터 다시 학습되는 대신 그런 변화에 빠르게 적응하게 하는 주요 접근법 중 하나이며, 같은 아이디어가 Sim-to-Real 이동에 쓰이는 온라인 적응 모듈의 바탕이 된다.

주요 응용

  • 새로운 목표와 물체에 대한 조작 기술의 빠른 적응
  • 바뀐 페이로드, 지형, 손상에 맞춘 이동 제어기의 적응
  • 모델 기반 제어에서 학습된 동역학 모델의 온라인 적응
  • Meta-World 같은 작업 계열을 이용한 일반화 벤치마킹
  • 적은 양의 로봇 데이터로부터의 퓨샷 모방과 적응

실제 사례

한 연구팀은 몇 번의 시도만으로 새로운 조작 기술을 배울 수 있는 로봇 암을 원한다. 시뮬레이션에서 여러 작업 유형에 걸쳐 물체 위치와 목표를 무작위화한 작업 계열을 만들고, 최근 전이로부터 추론한 잠재 작업 변수에 조건화하는 문맥 기반 메타 강화 학습 에이전트를 학습시킨다. 따로 남겨 둔 목표로 테스트할 때, 로봇은 탐색용 에피소드를 몇 개 수집하고, 인코더는 작업에 대한 추정을 갱신하며, 정책은 경사 업데이트 없이 개선된다. 팀은 학습 작업의 따로 남겨 둔 변형에서의 성공률과 완전히 새로운 작업 유형에서의 성공률을 따로 보고한다. 후자의 성능이 대개 훨씬 낮기 때문이다.

흔한 오해

  • 메타 강화 학습은 무엇이든 할 수 있는 정책을 학습한다 — 학습 분포에 속한 작업에 적응하며, 구조가 다른 작업에는 대개 일반화가 잘 되지 않는다
  • 메타 강화 학습과 다중 작업 강화 학습은 같다 — 다중 작업 강화 학습은 알려진 작업 집합에서의 성능을 최적화하고, 메타 강화 학습은 새 작업에 대한 적응 속도를 최적화한다
  • 적응은 언제나 가중치 미세 조정을 뜻한다 — 문맥 기반 방법은 테스트 시 경사 단계 없이 은닉 상태나 잠재 변수를 갱신하는 것만으로 적응한다

알아야 할 사람

  • 일반화와 적응을 연구하는 로봇 학습 연구자
  • 작업 분포를 설계하는 강화 학습 실무자
  • 적응형 이동 및 조작 제어기를 구축하는 엔지니어
  • 로봇공학을 위한 기계 학습을 공부하는 대학원생

관련 기술

  • Model-Agnostic Meta-Learning(MAML)
  • RL²
  • PEARL
  • Meta-World
  • 순환 신경망(Recurrent Neural Networks)

관련 용어

  • Multi-Task Reinforcement Learning
  • Reinforcement Learning
  • Partially Observable Markov Decision Process (POMDP)
  • Lifelong Robot Learning
  • Domain Randomization
  • Teacher-Student Training

관련 프로젝트

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

동영상

  • Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.