RLDX-1 Technical Report

作者: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

RLDX-1 在一个基于 Qwen3-VL 的 flow matching VLA 上加入运动、记忆和力矩/触觉信息流，在仿真中以及在 ALLEX、OpenArm 和 Franka 机器人上击败了 π0.5 和 GR00T N1.6。

为何重要

该报告在真实硬件上、用仅靠视觉不足以完成的任务测试了这些能力，并展示了基线 VLA 如何失败（以固定速度对待传送带上的运动、随机或重复地选择盒子）。报告还记录了一条推理流水线，能在一块桌面级 GPU 上以每步 43.7 ms 运行一个 8B 主干的 VLA。

问题

VLA 能够处理场景理解和指令跟随，但许多真实任务还需要运动感知（从移动的传送带上拾取）、对先前事件的记忆（猜杯游戏）以及在视觉被遮挡或无法提供信息时的物理感知（插头插入、倾倒到目标重量）。现有的 VLA 大多基于静态的当前观测行动。

提出的方法

RLDX-1 在机器人 VQA 上微调 Qwen3-VL 8B，并加入：带多帧压缩的时空自相似运动模块、由过去认知特征组成的记忆队列，以及 Multi-Stream Action Transformer——一种 MM-DiT 风格的 flow matching 动作模型，其认知、动作和物理三条信息流相互独立，通过自注意力连接；物理信息流接收力矩和触觉信号并预测其未来值。训练分三个阶段进行（多本体预训练；在 ALLEX 和 Franka Research 3 上结合视频生成的合成数据进行本体中期训练；任务后训练，可选 RECAP 风格的 RL），而静态 CUDA 图捕获加上手写的融合算子降低了推理延迟。

关键见解

• 独立的模态信息流使力矩和触觉输入在缺失时可以被掩码屏蔽，因此一种架构即可同时服务于有和没有物理传感器的机器人。
• 物理感知会在接触关键的步骤上改变行为：有了力矩反馈，RLDX-1 在倾倒时能察觉杯子的重量变化；有了触觉输入，它会在插头抵达插座时向下按压。
• 视频生成的合成数据有帮助：GR-1 Tabletop 的成功率从仅用真实数据时的 41.0% 提高到使用全部合成数据集时的 50.1%，并随合成数据占比增加而上升。
• 在 RoboCasa Kitchen 上，从中间层（18，60.9%）提取 VLM 特征优于早期层（8，51.1%）或后期层（28，56.3%）；机器人 VQA 训练再提高 3.4 个百分点。
• 仅用 Torch Compile 只比 eager 执行快约 1.18×，因为计算图会碎片化；静态图转换加上融合算子可达 1.63×。

主要结果

• ALLEX 人形机器人（四项任务）：平均 86.8，而 π0.5 为 39.1，GR00T N1.6 为 44.8；Object-in-Box Selection 为 91.7%，对比 33.3% 和 29.2%；Conveyor Pick-and-Place 为 87.5%，对比 29.2% 和 50.0%。
• 仿真：LIBERO 97.8%，LIBERO-Plus 86.7%，SIMPLER Google-VM 81.5%，Google-VA 77.4%，WidowX 71.9%，RoboCasa Kitchen 70.6%，GR-1 Tabletop 58.7%（GR00T N1.6：47.6%），RoboCasa365 32.1%。
• Franka Research 3：Spin Tracking 97.9%（π0.5 为 32.3%），Shell Game 91.7%（基线约 50%），Egg Pick-and-Place 61.1%（π0.5 为 45.8%），Plug Insertion 33.3%（π0.5 为 20.8%）。
• OpenArm 人形机器人：Object Grounding 87.5%，GR00T N1.6 为 33.3%；Unseen Object 54.2%，π0.5 为 37.5%。
• 在 ALLEX 拧灯泡任务上进行三轮 RECAP：353 ± 22 帧、4.1 ± 0.3 次尝试，而行为克隆为 1056 ± 326 帧、12.7 ± 3.0 次尝试。
• 在 RTX 5090 上的延迟：全模态模型从 71.2 ms（PyTorch eager）→ 43.7 ms（1.63×）。

局限

• 该报告没有局限性章节；以下各点来自其自身报告的结果。
• 若干功能性任务离解决还很远：在 Franka Research 3 上 Plug Insertion 为 33.3%，Cup Swapping 为 45.8%；RoboCasa365 复合任务为 19.0%（见过）和 5.6%（未见过）。
• 触觉和力矩监督只来自两个平台（ALLEX 和 Franka Research 3）上的小型内部数据集。
• RL 精调只在单一任务（拧灯泡）上展示。
• ALLEX 的平均值混合了成功率和进度分数（Card Slide-and-Pick、Pot-to-Cup Pouring）；摘要给出 86.8%，而结论称约为 90%。

对领域的影响

在 Hugging Face 每日论文上获得 106 个赞，位列该平台过去六个月机器人论文的前 5%。报告附有 GitHub 仓库链接（github.com/RLWRLD/RLDX-1），其贡献者名单记载了为公开发布而进行的数据、代码和模型权重的发布规划与许可工作。

摘要

尽管视觉-语言-动作模型（VLA）凭借从预训练视觉语言模型继承而来的通用智能（即广泛的场景理解和以语言为条件的泛化），在迈向类人通用机器人策略方面取得了显著进展，但它们在需要更广泛功能能力（例如运动感知、考虑记忆的决策和物理感知）的复杂真实世界任务上仍然表现吃力。为此，我们提出 RLDX-1，一种用于灵巧操作的通用机器人策略，它建立在 Multi-Stream Action Transformer（MSAT）之上；该架构通过带有跨模态联合自注意力的模态专属信息流整合异构模态，从而统一了这些能力。RLDX-1 还将该架构与系统层面的设计选择相结合，包括为罕见操作场景合成训练数据、专门针对类人操作的学习流程，以及面向实时部署的推理优化。通过实证评估，我们表明 RLDX-1 在需要超越一般通用性的广泛功能能力的仿真基准和真实世界任务上，都持续优于近期的前沿 VLA（例如 π0.5 和 GR00T N1.6）。特别是，RLDX-1 在 ALLEX 人形机器人任务上表现出优势，成功率达到 86.8%，而 π0.5 和 GR00T N1.6 约为 40%，这凸显了 RLDX-1 在多样化功能需求下控制高 DoF 人形机器人的能力。综合来看，这些结果表明 RLDX-1 是朝着面向复杂、接触丰富且动态的真实世界灵巧操作的可靠 VLA 迈出的有希望的一步。

链接

• arXiv 2605.03269: https://arxiv.org/abs/2605.03269
• PDF: https://arxiv.org/pdf/2605.03269v1
• 代码: https://github.com/RLWRLD/RLDX-1