Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Parameterized Action MDP

  • 다른 이름: PAMDP, parameterized action space MDP
  • 카테고리: Learning & autonomy › RL & simulation
  • 태그: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions

어떤 스킬을 쓸지 같은 이산 선택과, 어디서 또는 어떻게 실행할지 같은 그 선택의 연속 매개변수를 행동이 짝지어 가지는 마르코프 결정 과정.

정의

매개변수화 행동 마르코프 결정 과정(parameterized action Markov decision process, PAMDP)은 행동 공간이 이산 선택과 연속 선택의 혼합인 MDP다. 유한한 이산 행동 집합이 있고, 각 이산 행동 a는 고유한 연속 매개변수 공간 X_a를 가진다. 매 결정 단계에서 에이전트는 이산 행동 하나와 그에 대한 매개변수 벡터를 고르므로, 행동은 x가 X_a에 속하는 쌍 (a, x)이다. 서로 다른 이산 행동은 차원과 의미가 다른 매개변수를 가질 수 있다. Masson, Ranchod, Konidaris는 2016년에 이 설정을 정식화하고 Q-PAMDP를 제안했는데, 이는 어떤 이산 행동을 고를지 학습하는 것과 각 행동의 매개변수 정책을 학습하는 것을 번갈아 수행한다.

이 구조는 스킬이나 프리미티브를 중심으로 만든 로봇에 자연스럽다. 조작 에이전트는 뻗기, 파지, 밀기, 놓기 중에서 고를 수 있으며, 각각은 목표 위치, 미는 방향, 파지 방향 같은 연속 인수를 가지고, 맞는 프리미티브가 없으면 원자적 하위 수준 행동으로 돌아간다. 축구 에이전트는 차기, 질주, 회전 중에서 고르고 각각은 세기나 방향 매개변수를 가지는데, 이는 Hausknecht와 Stone이 2016년 매개변수화 행동을 이용한 심층 강화 학습에 사용한 RoboCup 설정이다. 프리미티브 하나가 여러 제어 주기 동안 실행될 수 있으므로 결정 사이의 시간이 가변적이며, 이 점에서 PAMDP는 semi-MDP 및 옵션 프레임워크와 연결된다. 다만 PAMDP에서 프리미티브는 보통 학습된 옵션이 아니라 고정된, 손으로 설계한 제어기다.

PAMDP에서의 학습에는 혼합 구조를 존중하는 방법이 필요하다. 흔한 심층 RL 접근법은 Xiong과 동료들의 P-DQN과 그 변형처럼 각 이산 행동에 대한 가치나 확률을 그 행동의 매개변수와 함께 출력하는 네트워크를 쓰거나, 프리미티브 유형에 대한 범주형 분포와 각 유형의 매개변수에 대한 가우시안을 출력하는 정책을 쓴다. 매개변수를 단순히 이산화하면 정밀도를 잃고 행동 공간이 빠르게 커지며, 모든 것을 하나의 큰 연속 벡터로 다루면 선택된 행동의 매개변수만 중요하다는 정보를 버리게 된다.

중요한 이유

하위 수준의 관절 명령이나 엔드 이펙터 명령으로 하는 강화 학습은 탐색 문제가 너무 커서 긴 시간 지평의 조작에서 고전한다. 정책이 매개변수화된 스킬을 호출하게 하면 실질적인 시간 지평이 짧아지고, 프리미티브에 담긴 엔지니어링 지식을 재사용하며, 검토하기 쉬운 행동이 나온다. PAMDP는 이를 위한 정식 설정이다.

주요 응용

  • 조작 스킬 라이브러리 위에서의 강화 학습
  • 로봇 축구와 혼합 행동 공간을 가진 기타 게임
  • 내비게이션 프리미티브와 조작 프리미티브를 결합한 긴 시간 지평 작업
  • 작업 계획을 위한 모션 프리미티브 인수 학습
  • 이산 기동과 연속 목표를 가진 자율주행 결정

실제 사례

한 팀이 시뮬레이션 환경을 이용해 로봇 팔이 캐비닛을 열고 물체를 안에 넣도록 학습시킨다. 정책은 20 Hz로 엔드 이펙터 속도를 출력하는 대신, 각 단계에서 다섯 가지 프리미티브 중 하나를 고른다. 뻗기, 파지, 밀기, 놓기, 또는 원자적 하위 수준 행동이다. 뻗기는 3D 목표를, 파지는 목표 위치와 요 각도를, 밀기는 시작 위치, 방향, 거리를 받는다. 정책 네트워크는 프리미티브 유형에 대한 범주형 분포와, 각 유형에 대해 그 매개변수에 대한 가우시안을 출력하며, 선택된 유형의 매개변수만 그래디언트에 영향을 준다. 각 프리미티브는 끝나거나 시간이 초과될 때까지 스크립트화된 제어기를 실행하고, 그 뒤에 다음 결정이 내려진다. 에피소드에 필요한 결정은 몇 번뿐이므로, 하위 수준 정책이 실패한 곳에서 학습이 성공한다.

흔한 오해

  • PAMDP는 계층적 강화 학습과 같다 — PAMDP의 프리미티브는 흔히 고정된 제어기이며, 프리미티브 선택과 그 매개변수만 학습된다
  • 매개변수는 그냥 이산화하면 된다 — 이산화는 정밀도를 잃고 행동 수를 곱으로 늘리며, 프리미티브에 매개변수가 여러 개일 때 특히 그렇다
  • 혼합 행동은 하나의 큰 연속 벡터로 다룰 수 있다 — 그러면 선택된 행동의 매개변수만 중요하다는 점을 무시하게 되고 학습이 불안정해질 수 있다
  • 프리미티브를 쓰면 언제나 작업이 쉬워진다 — 잘못 설계된 프리미티브 집합은 작업을 완수할 수 없게 만들 수 있으며, 그래서 많은 시스템이 하위 수준 행동을 대체 수단으로 남겨 둔다

알아야 할 사람

  • 스킬과 프리미티브를 다루는 로봇 학습 연구자
  • 행동 공간을 설계하는 강화 학습 엔지니어
  • 작업 및 동작 계획 연구자
  • 게임 및 다중 에이전트 AI 개발자

관련 기술

  • Q-PAMDP
  • P-DQN
  • 옵션 프레임워크(Options Framework)
  • 세미 마르코프 결정 과정(Semi-Markov Decision Process)
  • robosuite

관련 용어

  • Markov Decision Process (MDP)
  • Motion Primitive
  • Reinforcement Learning
  • Task and Motion Planning
  • Dynamic Movement Primitive

관련 프로젝트

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.