Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Play Data

  • 다른 이름: teleoperated play, unstructured play data
  • 카테고리: Learning & autonomy › Learning from demonstration
  • 태그: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning

사람 원격 조작자가 고정된 작업 없이 환경을 자유롭게 탐색하는 동안 기록한 로봇 상호작용 데이터로, 목표 조건부 정책과 장기 호라이즌 정책을 학습하는 데 쓰인다.

정의

놀이 데이터(play data)는 사람 운영자가 로봇을 원격 조작하거나, 일부 연구에서는 자기 손으로 직접 행동하면서, 미리 정의된 작업을 수행하는 대신 원하는 대로 환경과 상호작용하는 데이터 수집 방식에서 나온다. 놀이 세션에서 운영자는 서랍을 열고, 블록을 밀고, 스위치를 켜고, 장난감을 집는 일을 어떤 순서로든 할 수 있다. 이 아이디어는 2019년 Corey Lynch와 동료들이 놀이로부터 잠재 계획을 학습하는 연구에서 로봇 학습에 도입했다.

놀이는 작업 시연에 비해 몇 가지 실용적 이점이 있다. 에피소드마다 장면을 초기화하거나 성공을 정의할 필요가 없으므로 수집 비용이 싸다. 넓은 범위의 행동과 그 사이의 전이를 포괄한다. 그리고 회복 동작과 부분적인 시도를 자연스럽게 포함한다. 데이터에 작업 레이블이 없으므로 보통 사후 재레이블링(hindsight relabeling)과 결합한다. 기록의 어떤 창이든 그 끝의 상태에 도달하는 방법의 시연으로 취급할 수 있으며, 이로써 레이블 없는 놀이가 목표 조건부 정책의 학습 데이터가 된다. 언어 조건부 정책을 학습하기 위해 일부 창에 나중에 자연어 설명을 덧붙일 수 있다.

놀이 데이터에는 약점도 있다. 같은 시작과 목표가 서로 다른 방식으로 이어질 수 있으므로 행동이 다봉적이며, 이 때문에 방법들은 여러 모드를 표현할 수 있는 잠재 변수 기반 정책이나 확산 기반 정책 쪽으로 기운다. 커버리지는 운영자에 달려 있으므로 드물게 방문한 상태는 잘 학습되지 않는다. 일부 방법은 원격 조작보다 빠른, 사람이 자기 손으로 노는 모습을 기록하고, 그 데이터로 고수준 계획을 학습한 뒤, 더 적은 양의 원격 조작 데이터로 학습한 로봇 전용 정책이 그 계획을 실행하게 한다.

중요한 이유

모든 기술마다 작업별 시연을 수집하는 방식은 확장되지 않는다. 놀이 데이터는 한 번의 자유로운 상호작용 세션이 여러 작업을 동시에 뒷받침하게 하며, 목표 조건부, 언어 조건부, 장기 호라이즌 모방 학습의 흔한 기반이 되었다.

주요 응용

  • 목표 조건부 조작 정책 학습
  • 사후 주석을 이용한 언어 조건부 모방 학습
  • 하위 목표를 이어 만든 장기 호라이즌 작업
  • 잠재 계획 또는 기술 표현의 사전 학습
  • 다중 작업 탁상 조작 벤치마크

실제 사례

한 연구실이 서랍, 캐비닛, 블록, 전등 스위치가 있는 부엌 형태의 탁상을 꾸미고, 운영자가 지시 없이 긴 세션 동안 VR 컨트롤러로 로봇 암을 원격 조작하며 원하는 것과 상호작용한다. 카메라 이미지, 고유수용감각, 행동의 기록은 학습 중에 짧은 창들로 잘리고, 각 창은 마지막 프레임을 목표로 레이블링된다. 목표 조건부 정책은 어떤 목표 이미지든 도달하도록 학습하며, 나중에 일부 창에 "서랍을 열어" 같은 지시를 주석으로 달아 언어 명령을 가능하게 한다. 테스트 시 로봇은 여러 목표를 이어 서랍을 열고, 안에 블록을 넣고, 서랍을 닫는 것 같은 더 긴 작업을 완수한다.

흔한 오해

  • 놀이 데이터는 무작위 탐색이다 — 놀이 데이터는 목적이 있는 사람의 행동이며, 다만 미리 정의된 작업에 묶여 있지 않을 뿐이다
  • 놀이 데이터가 쓸모 있으려면 작업 레이블이 필요하다 — 사후 재레이블링은 레이블 없이도 어떤 구간이든 목표 도달 예시로 바꾼다
  • 놀이 데이터는 작업 시연을 완전히 대체한다 — 커버리지는 운영자에 달려 있으므로, 드물거나 정밀한 행동에는 여전히 표적 시연이 필요할 수 있다

알아야 할 사람

  • 모방 학습 연구자
  • 로봇 데이터 수집 및 원격 조작 팀
  • 언어 조건부 조작 정책을 학습하는 엔지니어
  • 장기 호라이즌 조작을 연구하는 연구자

관련 기술

  • 사후 재레이블링(Hindsight Relabeling)
  • Learning from Play(Play-LMP)
  • VR 원격 조작(VR Teleoperation)
  • CALVIN 벤치마크(CALVIN Benchmark)
  • 조건부 변분 오토인코더(Conditional Variational Autoencoders)

관련 용어

  • Goal-Conditioned Policy
  • Imitation Learning
  • Teleoperation
  • Behavior Cloning
  • Visuomotor Policy

관련 프로젝트

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
  • XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
  • DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.