RLDX-1 Technical Report

作者: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

RLDX-1 在以 Qwen3-VL 為基礎的 flow matching VLA 上加入運動、記憶與扭矩/觸覺資訊流，在模擬中以及在 ALLEX、OpenArm 與 Franka 機器人上勝過 π0.5 與 GR00T N1.6。

為何重要

此報告在真實硬體上、以僅靠視覺不足以完成的任務測試這些能力，並呈現基準 VLA 如何失敗（以固定速度處理輸送帶上的移動、隨機或重複地選擇盒子）。報告也記錄了一條推論管線，能在單一桌上型 GPU 上以每步 43.7 ms 執行一個 8B 骨幹的 VLA。

問題

VLA 能處理場景理解與指令遵循，但許多真實任務還需要運動感知（從移動中的輸送帶拾取）、對先前事件的記憶（猜杯遊戲），以及在視覺被遮蔽或無法提供資訊時的物理感測（插頭插入、倒到目標重量）。現有的 VLA 大多依據靜態的當前觀測來行動。

提出的方法

RLDX-1 在機器人 VQA 上微調 Qwen3-VL 8B，並加入：具多幀壓縮的時空自相似運動模組、由過去認知特徵組成的記憶佇列，以及 Multi-Stream Action Transformer——一種 MM-DiT 風格的 flow matching 動作模型，具獨立的認知、動作與物理資訊流，彼此以自注意力連接；物理資訊流接收扭矩與觸覺訊號並預測其未來值。訓練分三個階段進行（多形態預訓練；在 ALLEX 與 Franka Research 3 上搭配影片生成的合成資料進行形態中期訓練；任務後訓練，可選用 RECAP 風格的 RL），而靜態 CUDA 圖擷取加上手寫的融合核心降低了推論延遲。

關鍵見解

• 獨立的模態資訊流讓扭矩與觸覺輸入在缺少時可以被遮罩，因此單一架構即可服務有與沒有物理感測器的機器人。
• 物理感測會在接觸關鍵的步驟改變行為：有了扭矩回饋，RLDX-1 在倒水時能察覺杯子的重量變化；有了觸覺輸入，它會在插頭抵達插座時向下壓。
• 影片生成的合成資料有幫助：GR-1 Tabletop 的成功率從只用真實資料時的 41.0% 提升到使用完整合成資料集時的 50.1%，並隨合成資料比例增加而上升。
• 在 RoboCasa Kitchen 上，從中間層（18，60.9%）取得 VLM 特徵勝過早期層（8，51.1%）或後期層（28，56.3%）；機器人 VQA 訓練再增加 3.4 個百分點。
• 單用 Torch Compile 只比 eager 執行快約 1.18×，因為計算圖會碎片化；靜態圖轉換加上融合核心可達 1.63×。

主要結果

• ALLEX 人形機器人（四項任務）：平均 86.8，相較於 π0.5 的 39.1 與 GR00T N1.6 的 44.8；Object-in-Box Selection 91.7%，相較於 33.3% 與 29.2%；Conveyor Pick-and-Place 87.5%，相較於 29.2% 與 50.0%。
• 模擬：LIBERO 97.8%、LIBERO-Plus 86.7%、SIMPLER Google-VM 81.5%、Google-VA 77.4%、WidowX 71.9%、RoboCasa Kitchen 70.6%、GR-1 Tabletop 58.7%（GR00T N1.6：47.6%）、RoboCasa365 32.1%。
• Franka Research 3：Spin Tracking 97.9%（π0.5 為 32.3%）、Shell Game 91.7%（基準約 50%）、Egg Pick-and-Place 61.1%（π0.5 為 45.8%）、Plug Insertion 33.3%（π0.5 為 20.8%）。
• OpenArm 人形機器人：Object Grounding 87.5%，相較於 GR00T N1.6 的 33.3%；Unseen Object 54.2%，相較於 π0.5 的 37.5%。
• 在 ALLEX 轉燈泡任務上進行三輪 RECAP：353 ± 22 幀、4.1 ± 0.3 次嘗試，相較於行為複製的 1056 ± 326 幀、12.7 ± 3.0 次嘗試。
• 在 RTX 5090 上的延遲：全模態模型從 71.2 ms（PyTorch eager）→ 43.7 ms（1.63×）。

限制

• 此報告沒有限制章節；以下各點來自其自身報告的結果。
• 數項功能性任務離解決仍很遠：在 Franka Research 3 上 Plug Insertion 為 33.3%、Cup Swapping 為 45.8%；RoboCasa365 複合任務為 19.0%（見過）與 5.6%（未見過）。
• 觸覺與扭矩監督只來自兩個平台（ALLEX 與 Franka Research 3）上的小型內部資料集。
• RL 精煉只在單一任務（轉燈泡）上展示。
• ALLEX 的平均值混合了成功率與進度分數（Card Slide-and-Pick、Pot-to-Cup Pouring）；摘要給出 86.8%，而結論則說約 90%。

對領域的影響

在 Hugging Face 每日論文上獲得 106 個讚，名列該平台過去六個月機器人論文的前 5%。報告附有 GitHub 儲存庫連結（github.com/RLWRLD/RLDX-1），其貢獻者名單記載了為公開發布而進行的資料、程式碼與模型權重的釋出規劃與授權工作。

摘要

雖然視覺-語言-動作模型（VLA）憑藉從預訓練視覺語言模型繼承而來的多用途智慧（即廣泛的場景理解與以語言為條件的泛化），在邁向類人通用機器人策略上已有顯著進展，但在需要更廣泛功能能力（例如運動感知、考量記憶的決策與物理感測）的複雜真實世界任務上仍顯吃力。為此，我們提出 RLDX-1，一個用於靈巧操作的通用機器人策略，建立在 Multi-Stream Action Transformer（MSAT）之上；此架構透過具跨模態聯合自注意力的模態專屬資訊流整合異質模態，從而統一這些能力。RLDX-1 進一步將此架構與系統層級的設計選擇結合，包括為罕見操作情境合成訓練資料、專為類人操作設計的學習程序，以及為即時部署進行的推論最佳化。透過實證評估，我們顯示 RLDX-1 在需要超越一般多用途性之廣泛功能能力的模擬基準與真實世界任務上，都持續勝過近期的前沿 VLA（例如 π0.5 與 GR00T N1.6）。特別是，RLDX-1 在 ALLEX 人形機器人任務上展現優勢，成功率達 86.8%，而 π0.5 與 GR00T N1.6 約為 40%，凸顯 RLDX-1 在多樣功能需求下控制高 DoF 人形機器人的能力。整體而言，這些結果使 RLDX-1 成為邁向可靠 VLA、以處理複雜、接觸豐富且動態的真實世界靈巧操作的有希望的一步。

連結

• arXiv 2605.03269: https://arxiv.org/abs/2605.03269
• PDF: https://arxiv.org/pdf/2605.03269v1
• 程式碼: https://github.com/RLWRLD/RLDX-1