Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

RLDX-1 Technical Report

著者: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

RLDX-1 は Qwen3-VL ベースの flow matching VLA に動作、記憶、トルク／触覚のストリームを加え、シミュレーションおよび ALLEX、OpenArm、Franka のロボットで π0.5 と GR00T N1.6 を上回る。

重要な理由

このレポートは、視覚だけでは不十分なタスクを用いて実機ハードウェア上でこれらの能力を検証し、ベースラインの VLA がどのように失敗するか（コンベア上の動きへの一定速度での対応、ランダムまたは同じ箱の繰り返し選択）を示している。また、8B バックボーンの VLA をデスクトップ GPU 1 枚で 1 ステップ 43.7 ms で動かす推論パイプラインも記録している。

課題

VLA はシーン理解と指示追従をこなすが、実際のタスクの多くは、動作の認識（動くコンベアからのピッキング）、以前の出来事の記憶（シェルゲーム）、視覚が遮られたり情報を与えなかったりする場合の物理的なセンシング（プラグの挿入、目標の重さまで注ぐ）も必要とする。既存の VLA の多くは、静的な現在の観測に基づいて行動する。

提案手法

RLDX-1 は Qwen3-VL 8B をロボット VQA でファインチューニングし、複数フレーム圧縮を伴う時空間自己類似性の動作モジュール、過去の認知特徴の記憶キュー、そして Multi-Stream Action Transformer を加える。後者は MM-DiT 風の flow matching 行動モデルで、認知、行動、物理の別々のストリームを自己注意で結合する。物理ストリームはトルクと触覚の信号を受け取り、その将来の値を予測する。訓練は 3 段階（多機体での事前学習、ALLEX と Franka Research 3 での動画生成合成データを用いた機体の中間訓練、オプションで RECAP 風の RL を伴うタスクの事後訓練）で行われ、静的な CUDA グラフのキャプチャと手書きの融合カーネルにより推論レイテンシを削減する。

主な知見

  • モダリティごとに分かれたストリームにより、トルクと触覚の入力がない場合はマスクできるため、1 つのアーキテクチャで物理センサのあるロボットにもないロボットにも対応できる。
  • 物理的なセンシングは接触が決定的なステップで挙動を変える。トルクのフィードバックがあると、RLDX-1 は注ぐときのカップの重さの変化に気づき、触覚入力があると、プラグがソケットに達した時点で押し下げる。
  • 動画生成による合成データは役立つ。GR-1 Tabletop の成功率は、実データのみの 41.0% から合成データ一式を加えた 50.1% に上がり、合成データの割合とともに増加した。
  • RoboCasa Kitchen では、VLM の特徴を中間層（18、60.9%）から取ると、浅い層（8、51.1%）や深い層（28、56.3%）より良い。ロボット VQA での訓練でさらに 3.4 ポイント上がる。
  • Torch Compile だけでは、グラフが断片化するため eager 実行に対して約 1.18× にとどまる。静的グラフへの変換と融合カーネルを組み合わせると 1.63× に達する。

主な結果

  • ALLEX ヒューマノイド（4 タスク）：平均 86.8、π0.5 は 39.1、GR00T N1.6 は 44.8。Object-in-Box Selection は 91.7% 対 33.3% と 29.2%、Conveyor Pick-and-Place は 87.5% 対 29.2% と 50.0%。
  • シミュレーション：LIBERO 97.8%、LIBERO-Plus 86.7%、SIMPLER Google-VM 81.5%、Google-VA 77.4%、WidowX 71.9%、RoboCasa Kitchen 70.6%、GR-1 Tabletop 58.7%（GR00T N1.6：47.6%）、RoboCasa365 32.1%。
  • Franka Research 3：Spin Tracking 97.9%（π0.5 は 32.3%）、Shell Game 91.7%（ベースラインは約 50%）、Egg Pick-and-Place 61.1%（π0.5 は 45.8%）、Plug Insertion 33.3%（π0.5 は 20.8%）。
  • OpenArm ヒューマノイド：Object Grounding 87.5%（GR00T N1.6 は 33.3%）、Unseen Object 54.2%（π0.5 は 37.5%）。
  • ALLEX での電球ねじ込みにおける RECAP 3 ラウンド：353 ± 22 フレーム、試行 4.1 ± 0.3 回。行動クローニングでは 1056 ± 326 フレーム、試行 12.7 ± 3.0 回。
  • RTX 5090 でのレイテンシ：全モダリティのモデルで 71.2 ms（PyTorch eager）→ 43.7 ms（1.63×）。

制限事項

  • レポートには限界の節がなく、以下の点はレポート自身が報告した結果によるものである。
  • いくつかの機能的タスクは解決にほど遠い。Franka Research 3 で Plug Insertion は 33.3%、Cup Swapping は 45.8%。RoboCasa365 の複合タスクは 19.0%（既見）と 5.6%（未見）。
  • 触覚とトルクの教師信号は、2 つのプラットフォーム（ALLEX と Franka Research 3）での小規模な社内データセットからしか得られていない。
  • RL による改善は単一のタスク（電球のねじ込み）でしか示されていない。
  • ALLEX の平均は成功率と進捗スコア（Card Slide-and-Pick、Pot-to-Cup Pouring）を混ぜたものである。要旨では 86.8% としているが、結論では約 90% としている。

分野への影響

Hugging Face の daily papers で 106 件の賛成票を集め、同サイトの過去 6 か月のロボティクス論文の上位 5% に入った。レポートは GitHub リポジトリ（github.com/RLWRLD/RLDX-1）にリンクしており、その貢献者リストには、データ、コード、モデル重みの一般公開に向けたリリース計画とライセンス付与が記録されている。

概要

Vision-Language-Action モデル（VLA）は、事前学習済みのビジョン言語モデルから受け継いだ汎用的な知能（すなわち、幅広いシーン理解と言語を条件とした汎化）によって、人間のような汎用ロボット方策に向けて目覚ましい進歩を示してきたが、より幅広い機能的能力（たとえば動作の認識、記憶を考慮した意思決定、物理的なセンシング）を必要とする複雑な実世界のタスクには依然として苦戦している。これに対処するため、我々は巧緻操作のための汎用ロボット方策 RLDX-1 を導入する。RLDX-1 は Multi-Stream Action Transformer（MSAT）の上に構築されており、このアーキテクチャは、クロスモーダルな結合自己注意を備えたモダリティ固有のストリームを通じて異種のモダリティを統合することで、これらの能力を統一する。RLDX-1 はさらに、このアーキテクチャを、まれなマニピュレーションシナリオのための訓練データの合成、人間のようなマニピュレーションに特化した学習手順、リアルタイム展開のための推論最適化といったシステムレベルの設計上の選択と組み合わせる。実験的評価を通じて、RLDX-1 が、一般的な汎用性を超えた幅広い機能的能力を必要とするシミュレーションベンチマークと実世界タスクの両方で、最近の最先端 VLA（たとえば π0.5 や GR00T N1.6）を一貫して上回ることを示す。特に RLDX-1 は ALLEX のヒューマノイドタスクで優位性を示し、π0.5 と GR00T N1.6 が 40% 前後であるのに対して 86.8% の成功率を達成しており、多様な機能的要求のもとで高 DoF のヒューマノイドロボットを制御する RLDX-1 の能力を際立たせている。これらの結果を総合すると、RLDX-1 は、複雑で接触が多く動的な実世界の巧緻操作のための信頼できる VLA に向けた有望な一歩と位置付けられる。

リンク

  • arXiv 2605.03269: https://arxiv.org/abs/2605.03269
  • PDF: https://arxiv.org/pdf/2605.03269v1
  • コード: https://github.com/RLWRLD/RLDX-1

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。