Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Multi-Task Reinforcement Learning

  • 다른 이름: multi-task RL, MTRL
  • 카테고리: Learning & autonomy › RL & simulation
  • 태그: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning

작업 식별자나 작업 기술에 조건화된 하나의 정책을, 고정된 작업 집합을 동시에 잘 수행하도록 학습시키는 강화 학습.

정의

다중 작업 강화 학습(multi-task reinforcement learning)은 작업마다 별도의 에이전트를 학습시키는 대신 하나의 에이전트가 여러 작업을 풀도록 학습시킨다. 정책은 보통 작업 조건부(task-conditioned)이다. 즉 상태와 함께 원-핫 작업 식별자, 목표, 언어 지시, 또는 다른 작업 기술을 입력으로 받으며, 목적 함수는 작업 집합 전체에 걸친 평균 기대 리턴이다. 작업들이 팔을 움직이는 방법이나 손잡이를 잡는 방법 같은 구조를 공유하여, 한 작업에서 얻은 경험이 다른 작업에 도움이 되고 공유 정책이 작업들을 따로 학습할 때보다 적은 데이터를 필요로 하기를 기대하는 것이다.

실제로는 공유가 해가 될 수도 있다. 작업들이 상충하는 행동을 요구할 수 있고, 보상의 크기가 크게 다를 수 있으며, 한 작업의 경사 업데이트가 다른 작업의 진전을 무너뜨릴 수 있는데, 이 문제를 음의 전이(negative transfer) 또는 경사 간섭이라고 한다. 흔한 해결책으로는 리턴을 정규화하거나 작업마다 별도의 가치 헤드를 쓰는 것, 작업끼리 충돌하지 않도록 경사를 조정하는 것, 작업을 부분적으로 분리된 네트워크 모듈로 보내는 것, 각 작업을 샘플링하는 빈도의 균형을 맞추는 것, 그리고 따로 학습한 전문가 정책들을 하나의 학생 정책으로 증류하는 것이 있다. 목표 조건부 학습은 작업이 목표에서만 다르고 같은 보상 구조를 공유하는 특수한 경우이다.

다중 작업 강화 학습은 메타 강화 학습(meta-reinforcement learning)과 다르다. 다중 작업 강화 학습은 대개 작업의 정체가 알려진 상태에서, 학습에 쓰인 작업들로 평가된다. 메타 강화 학습은 같은 분포에서 뽑은 새 작업에 얼마나 빨리 적응하는지로 평가된다. Meta-World 같은 벤치마크는 같은 조작 작업들에 대해 두 설정을 모두 제공하므로 그 차이가 구체적으로 드러난다. 다중 작업 학습은 시연 데이터로부터 많은 작업에 대해 학습되는 더 큰 로봇 정책의 구성 요소이기도 하지만, 그런 정책은 대개 강화 학습이 아니라 모방으로 학습된다.

중요한 이유

유용한 로봇에는 많은 기술이 필요하며, 기술마다 정책 하나씩을 학습시키고 유지하는 방식은 확장되지 않는다. 다중 작업 강화 학습은 많은 행동을 아우르는 단일 제어기에 이르는 강화 학습의 경로이며, 그런 시스템을 설계할 때는 공유가 어디서 도움이 되고 어디서 간섭을 일으키는지 이해하는 것이 필수적이다.

주요 응용

  • 많은 탁상 조작 기술을 위한 단일 정책
  • 언어 조건부 또는 목표 조건부 로봇 제어기
  • 여러 전문가 정책을 배치 가능한 하나의 네트워크로 증류하기
  • 걸음새, 속도, 지형 전반에 걸친 공유 이동 정책
  • 작업 간 전이와 간섭의 벤치마킹

실제 사례

한 팀은 탁상 팔 하나로 서랍 열기, 버튼 누르기, 수도꼭지 돌리기를 할 수 있는 정책 하나를 원한다. 팀은 관측에 원-핫 작업 벡터를 덧붙인 작업 조건부 SAC 에이전트를 시뮬레이션에서 학습시킨다. 초기 실행에서는 정책이 두 작업은 숙달하고 나머지는 무시하는데, 그 두 작업의 보상이 더 커서 업데이트를 지배하기 때문이다. 팀은 작업마다 별도로 학습되는 온도를 추가하고, 각 배치에서 작업을 고르게 샘플링하며, 평균만이 아니라 작업별 성공률을 추적한다. 이렇게 하자 강한 작업을 늦추지 않고도 약한 작업이 끌어올려진다.

흔한 오해

  • 더 많은 작업으로 학습하면 각 작업에 언제나 도움이 된다 — 상충하는 작업은 서로 간섭할 수 있으며, 다중 작업 정책이 일부 작업에서 단일 작업 학습보다 성능이 나쁠 수 있다
  • 다중 작업 강화 학습은 새 작업에 적응하는 에이전트를 만든다 — 다중 작업 강화 학습은 학습 작업으로 평가된다. 보지 못한 작업에 대한 빠른 적응은 메타 강화 학습의 목표이다
  • 작업 전체의 평균 리턴이 정책이 얼마나 잘 작동하는지 보여 준다 — 높은 평균은 정책이 학습하지 못한 작업을 가릴 수 있으므로, 작업별 성공률을 보고해야 한다

알아야 할 사람

  • 범용 정책을 구축하는 로봇 학습 연구자
  • 작업 모음으로 학습시키는 강화 학습 엔지니어
  • 작업 조건화를 설계하는 조작 엔지니어
  • 다중 작업 학습, 메타 학습, 평생 학습을 비교하는 학생

관련 기술

  • Meta-World
  • 정책 증류(Policy Distillation)
  • Gradient Surgery(PCGrad)
  • Soft Actor-Critic
  • 작업 임베딩(Task Embeddings)

관련 용어

  • Meta-Reinforcement Learning
  • Goal-Conditioned Policy
  • Reinforcement Learning
  • Soft Actor-Critic
  • Lifelong Robot Learning
  • Curriculum Learning

관련 프로젝트

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.