RLDX-1 Technical Report

저자: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

RLDX-1은 Qwen3-VL 기반 flow matching VLA에 운동, 메모리, 토크/촉각 스트림을 더하여, 시뮬레이션과 ALLEX, OpenArm, Franka 로봇에서 π0.5와 GR00T N1.6을 능가한다.

중요한 이유

이 보고서는 시각만으로는 충분하지 않은 과제로 실제 하드웨어에서 이러한 능력을 시험하고, 기준 VLA들이 어떻게 실패하는지(고정 속도의 컨베이어 동작, 무작위 또는 반복된 상자 선택) 보여 준다. 또한 8B 백본 VLA를 데스크톱 GPU 한 대에서 단계당 43.7 ms로 실행하는 추론 파이프라인을 문서화한다.

문제

VLA는 장면 이해와 지시 수행을 다루지만, 많은 실제 과제에는 운동 인식(움직이는 컨베이어에서 집기), 이전 사건의 기억(야바위 게임), 그리고 시야가 가려지거나 시각 정보가 부족할 때의 물리적 감지(플러그 삽입, 목표 무게까지 붓기)도 필요하다. 기존 VLA는 대부분 정적인 현재 관측에만 의존하여 행동한다.

제안 방법

RLDX-1은 Qwen3-VL 8B를 로봇 VQA로 미세 조정하고, 다중 프레임 압축을 갖춘 시공간 자기 유사성 운동 모듈, 과거 인지 특징의 메모리 큐, 그리고 Multi-Stream Action Transformer를 추가한다. Multi-Stream Action Transformer는 인지, 행동, 물리 스트림을 분리하고 셀프 어텐션으로 결합한 MM-DiT 방식의 flow matching 행동 모델이며, 물리 스트림은 토크와 촉각 신호를 받아 그 미래 값을 예측한다. 학습은 세 단계(다중 본체 사전 학습, 영상 생성 합성 데이터를 사용한 ALLEX와 Franka Research 3에서의 본체 중간 학습, 선택적인 RECAP 방식 RL을 포함한 과제 사후 학습)로 진행되며, 정적 CUDA 그래프 캡처와 직접 작성한 융합 커널이 추론 지연 시간을 줄인다.

핵심 통찰

• 모달리티 스트림을 분리하면 토크와 촉각 입력이 없을 때 이를 마스킹할 수 있으므로, 하나의 아키텍처가 물리 센서가 있는 로봇과 없는 로봇 모두에 쓰인다.
• 물리적 감지는 접촉이 중요한 단계에서 거동을 바꾼다. 토크 피드백이 있으면 RLDX-1은 붓는 동안 컵의 무게 변화를 알아차리고, 촉각 입력이 있으면 플러그가 소켓에 닿았을 때 아래로 밀어 넣는다.
• 영상 생성 합성 데이터가 도움이 된다. GR-1 Tabletop 성공률은 실제 데이터만 쓸 때 41.0%에서 전체 합성 데이터를 쓸 때 50.1%로 올랐으며, 합성 비율이 높을수록 증가했다.
• RoboCasa Kitchen에서 VLM 특징을 중간층(18, 60.9%)에서 가져오는 것이 초기층(8, 51.1%)이나 후기층(28, 56.3%)보다 낫다. 로봇 VQA 학습은 3.4점을 더한다.
• Torch Compile만으로는 그래프가 조각나서 eager 실행 대비 약 1.18배에 그치지만, 정적 그래프 변환과 융합 커널을 더하면 1.63배에 이른다.

주요 결과

• ALLEX 휴머노이드(과제 4개): 평균 86.8로, π0.5의 39.1과 GR00T N1.6의 44.8보다 높다. Object-in-Box Selection 91.7% 대 33.3%와 29.2%, Conveyor Pick-and-Place 87.5% 대 29.2%와 50.0%.
• 시뮬레이션: LIBERO 97.8%, LIBERO-Plus 86.7%, SIMPLER Google-VM 81.5%, Google-VA 77.4%, WidowX 71.9%, RoboCasa Kitchen 70.6%, GR-1 Tabletop 58.7%(GR00T N1.6: 47.6%), RoboCasa365 32.1%.
• Franka Research 3: Spin Tracking 97.9%(π0.5 32.3%), Shell Game 91.7%(기준선 약 50%), Egg Pick-and-Place 61.1%(π0.5 45.8%), Plug Insertion 33.3%(π0.5 20.8%).
• OpenArm 휴머노이드: Object Grounding 87.5%로 GR00T N1.6의 33.3%보다 높고, Unseen Object 54.2%로 π0.5의 37.5%보다 높다.
• ALLEX 전구 돌리기에서 RECAP 3회: 353 ± 22 프레임, 4.1 ± 0.3회 시도로, 행동 복제의 1056 ± 326 프레임, 12.7 ± 3.0회 시도보다 적다.
• RTX 5090에서의 지연 시간: 전체 모달리티 모델 기준 71.2 ms(PyTorch eager) → 43.7 ms(1.63배).

한계

• 보고서에는 한계 절이 없다. 아래 항목은 보고서 자체에 보고된 결과에서 나온 것이다.
• 여러 기능적 과제는 아직 해결과 거리가 멀다. Franka Research 3에서 Plug Insertion 33.3%, Cup Swapping 45.8%, RoboCasa365 복합 과제는 19.0%(본 과제), 5.6%(본 적 없는 과제)이다.
• 촉각 및 토크 지도 신호는 두 플랫폼(ALLEX와 Franka Research 3)의 소규모 자체 데이터셋에서만 나온다.
• RL 개선은 단일 과제(전구 돌리기)에서만 보여 준다.
• ALLEX 평균은 성공률과 진행 점수(Card Slide-and-Pick, Pot-to-Cup Pouring)를 섞는다. 초록은 86.8%로 제시하지만 결론에서는 약 90%라고 말한다.

분야에 미친 영향

Hugging Face daily papers에서 추천 106개를 받아, 지난 6개월간 그곳의 로보틱스 논문 중 상위 5%에 들었다. 보고서는 GitHub 저장소(github.com/RLWRLD/RLDX-1)를 링크하며, 기여자 목록에는 데이터, 코드, 모델 가중치의 공개 배포를 위한 공개 계획 수립과 라이선스 업무가 기록되어 있다.

초록

Vision-Language-Action 모델(VLA)은 사전 학습된 비전-언어 모델로부터 물려받은 다재다능한 지능(즉, 폭넓은 장면 이해와 언어 조건 일반화)을 통해 사람 같은 범용 로봇 정책을 향해 눈부신 진전을 보여 왔지만, 더 넓은 기능적 능력(예: 운동 인식, 메모리를 고려한 의사 결정, 물리적 감지)을 요구하는 복잡한 실제 과제에서는 여전히 어려움을 겪는다. 이를 해결하기 위해 우리는 정교 조작을 위한 범용 로봇 정책 RLDX-1을 소개한다. RLDX-1은 Multi-Stream Action Transformer(MSAT) 위에 구축되며, 이 아키텍처는 교차 모달 공동 셀프 어텐션을 갖춘 모달리티별 스트림으로 이질적인 모달리티를 통합하여 이러한 능력을 하나로 묶는다. RLDX-1은 나아가 이 아키텍처를 시스템 수준의 설계 선택과 결합하며, 여기에는 드문 조작 시나리오를 위한 학습 데이터 합성, 사람 같은 조작에 특화된 학습 절차, 실시간 배치를 위한 추론 최적화가 포함된다. 실험적 평가를 통해, RLDX-1이 일반적인 다재다능함을 넘어선 폭넓은 기능적 능력을 요구하는 시뮬레이션 벤치마크와 실제 과제 모두에서 최신 첨단 VLA(예: π0.5와 GR00T N1.6)를 일관되게 능가함을 보인다. 특히 RLDX-1은 ALLEX 휴머노이드 과제에서 86.8%의 성공률을 달성하여 약 40%에 그친 π0.5와 GR00T N1.6보다 우월함을 보이며, 이는 다양한 기능적 요구 아래에서 DoF가 높은 휴머노이드 로봇을 제어하는 RLDX-1의 능력을 보여 준다. 종합하면, 이러한 결과는 RLDX-1을 복잡하고 접촉이 많으며 동적인 실제 정교 조작을 위한 신뢰할 수 있는 VLA로 향하는 유망한 진전으로 자리매김한다.

링크

• arXiv 2605.03269: https://arxiv.org/abs/2605.03269
• PDF: https://arxiv.org/pdf/2605.03269v1
• 코드: https://github.com/RLWRLD/RLDX-1