Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

RL Token: Bootstrapping Online RL with Vision-Language-Action Models

저자: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026

CoRL 2026

라이선스

  • 오픈 액세스
  • 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 합니다.

요약

RL Token (RLT)은 단일 컴팩트 readout token과 작은 actor-critic 헤드를 통해 사전 학습된 VLA 위에서 온라인 RL을 부트스트래핑한다 — 실제 로봇 정책을 수 분에서 수 시간 안에 파인튜닝하여 최대 3배 속도 향상을 달성.

중요한 이유

대부분의 VLA 논문은 사전 학습이나 모방 학습에 초점을 맞춘다. VLA를 배포할 때의 어려운 문제는 "그럭저럭 동작함"과 "프로덕션 수준의 정밀도와 속도" 사이의 라스트 마일이다. RLT는 이 격차를 수 주의 추가 데이터 수집이 아니라 수 분에서 수 시간의 실제 로봇 연습으로 좁힐 수 있으며, π-RL이 필요로 했던 아키텍처별 맞춤 RL 메커니즘 없이도 가능하다는 것을 보여준다. 이로써 RL 사후 학습은 연구상의 호기심이 아닌 신뢰할 수 있는 배포 단계가 된다.

문제

사전 학습된 VLA (RT-2, π₀, OpenVLA, π₀.5)는 즉시 조작 스킬을 실행할 수 있지만, 실제 작업이 요구하는 정밀도와 속도가 부족하다. 기존 VLA의 온라인 RL 파인튜닝은 느리거나(높은 샘플 복잡도), 취약하거나(파국적 망각), 아키텍처에 종속적이다(예: π-RL은 flow-matching 정책에서만 동작).

제안 방법

기반 VLA를 적응시켜 컴팩트한 "RL token"을 노출시킨다 — 이는 작업과 관련된 사전 학습 지식을 요약하는 readout이다. VLA를 동결(또는 KL 앵커링)한 채로, 이 token 위에 작은 actor-critic 헤드를 학습한다. 이 token은 정책 기울기 방법을 위한 안정적이고 저차원의 인터페이스를 제공하여, RL 파인튜닝을 기반 VLA 아키텍처로부터 분리한다.

핵심 통찰

  • VLA 입력 앞에 붙인 단 하나의 "RL 토큰"이 온라인 RL을 위한 안정적이고 간결한 인터페이스 역할을 한다 — π-RL이 우회해야 했던 플로 매칭의 로그 확률 문제를 피해 간다.
  • 기반 VLA는 고정(또는 KL로 앵커링)된다. 작은 actor-critic 헤드만 학습하므로 샘플 복잡도가 낮게 유지되고 사전 학습된 기술의 파국적 망각을 막는다.
  • 온라인 RL은 실제 로봇으로 몇 분에서 몇 시간 연습하면 끝난다 — 엔지니어가 시뮬레이션 없이 실물로 반복 개선할 수 있을 만큼 짧다.
  • 정밀도가 병목인 작업(나사 정렬, 이더넷 커넥터 삽입)에서 RLT는 인간 원격조작 속도를 능가할 수 있다 — 정책이 사람이 수동으로 만들어 낼 수 있는 것보다 더 매끄러운 궤적을 학습한다.
  • 이 방법은 작업별 하이퍼파라미터 튜닝 없이 네 가지 이질적인 실제 로봇 작업에 일반화되며, 이는 토큰 기반 인터페이스가 작업에 구애받지 않음을 시사한다.

주요 결과

  • 몇 분에서 몇 시간의 온라인 RL 연습만으로 네 가지 실제 로봇 조작 작업 중 가장 어려운 구간에서 최대 3× 속도 향상.
  • 적어도 한 작업에서 RLT는 인간 원격조작 속도를 능가한다 — 파인튜닝된 정책이 정밀 삽입을 인간 작업자보다 빠르게 수행한다.
  • 샘플 효율이 충분히 높아 엔지니어가 시뮬레이션 전이에 의존하지 않고 실제 로봇에서 반복 개선할 수 있다.
  • 동일한 토큰 기반 레시피가 작업별 재튜닝 없이 네 가지 이질적인 작업(나사 체결, 케이블 타이 고정, 충전기 삽입, 이더넷 커넥터 삽입)에 모두 통한다.

한계

  • 단일 로봇 플랫폼의 네 가지 조작 작업으로만 평가했다 — 모바일 매니퓰레이션 / 보행 / 다중 팔 환경으로의 일반화는 향후 과제로 남겨 두었다.
  • 강력한 사전 학습 VLA를 기반 모델로 필요로 한다. 그 기반 모델을 애초에 어떻게 학습할지는 다루지 않는다(여전히 비용의 대부분이 이 부분에서 발생한다).
  • 실제 하드웨어에서의 온라인 RL에는 여전히 엔지니어링 노력(리셋 메커니즘, 안전 제약, 보상 설계)이 필요하다 — 논문은 버튼 하나로 되는 자율성을 주장하지 않는다.

분야에 미친 영향

VLA 스택에서 빠져 있던 "사후 학습" 단계에 대해, 모델에 구애받지 않는 깔끔한 레시피를 확립한다. HIL-SERL (2024), RL-100 (2025), π-RL (2025)과 함께 부상 중인 "RL 사후 학습 및 배포" 시대에 자리잡으며 — 효율적인 온라인 파인튜닝 흐름을 이어가면서도 아키텍처별 제약을 제거한다. 후속 VLA 논문 (π₀.5+, GR00T+)이 배포 파이프라인을 기술할 때 인용할 템플릿이 될 가능성이 높다.

초록

시각-언어-행동(VLA) 모델은 다양한 조작 기술을 "그대로" 학습할 수 있지만, 실제 작업이 요구하는 정밀도와 속도를 달성하려면 추가적인 파인튜닝—예를 들어 강화 학습(RL)을 통한—이 필요합니다. 우리는 단 몇 시간의 실제 연습만으로 사전 훈련된 VLA를 샘플 효율적으로 온라인 RL 파인튜닝할 수 있는 경량 방법을 소개합니다. 우리는 (1) 작업 관련 사전 학습 지식을 보존하면서 온라인 RL을 위한 효율적인 인터페이스 역할을 하는 컴팩트한 판독 표현인 "RL 토큰"을 노출하도록 VLA를 적응시키고, (2) 이 RL 토큰 위에 작은 액터-크리틱 헤드를 훈련하여 학습된 정책을 VLA에 고정시키면서 동작을 정제합니다. RL 토큰을 사용한 온라인 RL(RLT)을 통해 대규모 VLA조차도 RL로 빠르고 효율적으로 파인튜닝할 수 있습니다. 네 가지 실제 로봇 작업(나사 설치, 케이블 타이 고정, 충전기 삽입, 이더넷 삽입)에서 RLT는 작업의 가장 어려운 부분의 속도를 최대 3배까지 개선하고 몇 분에서 몇 시간의 연습 내에 성공률을 크게 향상시킵니다. 일부 작업에서는 인간 원격 조작의 속도를 능가하기도 합니다.

링크

  • arXiv 2604.23073: https://arxiv.org/abs/2604.23073
  • PDF: https://www.pi.website/download/rlt.pdf
  • 프로젝트 페이지: https://www.pi.website/research/rlt

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.