RLDX-1 Technical Report

Autoren: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

RLDX-1 ergänzt ein auf Qwen3-VL basierendes Flow-Matching-VLA um Bewegungs-, Gedächtnis- und Drehmoment-/Tastsinn-Streams und schlägt π0.5 und GR00T N1.6 in der Simulation sowie auf ALLEX-, OpenArm- und Franka-Robotern.

Warum es wichtig ist

Der Bericht testet diese Fähigkeiten auf realer Hardware mit Aufgaben, bei denen Sehen allein nicht ausreicht, und zeigt, wie die Baseline-VLAs scheitern (Bewegungen mit fester Geschwindigkeit am Förderband, zufällige oder wiederholte Kistenwahl). Außerdem dokumentiert er eine Inferenz-Pipeline, die ein VLA mit 8B-Backbone mit 43,7 ms pro Schritt auf einer einzigen Desktop-GPU ausführt.

Problem

VLAs bewältigen Szenenverständnis und das Befolgen von Anweisungen, doch viele reale Aufgaben erfordern zusätzlich Bewegungswahrnehmung (Greifen von einem laufenden Förderband), Gedächtnis für frühere Ereignisse (ein Hütchenspiel) und physikalische Sensorik, wenn die Sicht verdeckt oder wenig aussagekräftig ist (Einstecken eines Steckers, Einschenken bis zu einem Zielgewicht). Bestehende VLAs handeln meist auf Basis statischer aktueller Beobachtungen.

Lösungsansatz

RLDX-1 führt ein Fine-Tuning von Qwen3-VL 8B auf Roboter-VQA durch und ergänzt ein Bewegungsmodul auf Basis raumzeitlicher Selbstähnlichkeit mit Mehrbild-Kompression, eine Gedächtnis-Warteschlange vergangener Kognitionsmerkmale und einen Multi-Stream Action Transformer, ein Flow-Matching-Aktionsmodell im Stil von MM-DiT mit getrennten Kognitions-, Aktions- und Physik-Streams, die über Self-Attention verbunden sind; der Physik-Stream nimmt Drehmoment- und Tastsignale auf und sagt deren künftige Werte vorher. Das Training verläuft in drei Stufen (Vortraining über mehrere Verkörperungen, verkörperungsbezogenes Mid-Training auf ALLEX und Franka Research 3 mit per Video generierten synthetischen Daten, aufgabenbezogenes Post-Training mit optionalem RL im Stil von RECAP), und statisches Erfassen von CUDA-Graphen plus handgeschriebene fusionierte Kernel senken die Inferenzlatenz.

Wichtigste Erkenntnisse

Getrennte Modalitäts-Streams erlauben es, Drehmoment- und Tastsinn-Eingaben auszumaskieren, wenn sie fehlen, sodass eine Architektur Roboter mit und ohne physikalische Sensoren bedient.
Physikalische Sensorik verändert das Verhalten in kontaktkritischen Schritten: Mit Drehmoment-Feedback bemerkt RLDX-1 beim Einschenken die Gewichtsänderung der Tasse, und mit taktiler Eingabe drückt es nach unten, sobald der Stecker die Steckdose erreicht.
Per Video generierte synthetische Daten helfen: Der Erfolg bei GR-1 Tabletop stieg von 41,0 % nur mit realen Daten auf 50,1 % mit dem vollständigen synthetischen Satz und nahm mit dem synthetischen Anteil zu.
VLM-Merkmale aus einer mittleren Schicht (18, 60,9 %) zu nehmen, schlägt eine frühe (8, 51,1 %) oder späte (28, 56,3 %) Schicht auf RoboCasa Kitchen; Training mit Roboter-VQA bringt 3,4 Punkte mehr.
Torch Compile allein bringt nur etwa das 1,18-Fache gegenüber Eager-Ausführung, weil der Graph fragmentiert; statische Graphkonvertierung plus fusionierte Kernel erreichen das 1,63-Fache.

Hauptergebnisse

ALLEX-Humanoid (vier Aufgaben): Durchschnitt 86,8 gegenüber 39,1 für π0.5 und 44,8 für GR00T N1.6; Object-in-Box Selection 91,7 % gegenüber 33,3 % und 29,2 %; Conveyor Pick-and-Place 87,5 % gegenüber 29,2 % und 50,0 %.
Simulation: LIBERO 97,8 %, LIBERO-Plus 86,7 %, SIMPLER Google-VM 81,5 %, Google-VA 77,4 %, WidowX 71,9 %, RoboCasa Kitchen 70,6 %, GR-1 Tabletop 58,7 % (GR00T N1.6: 47,6 %), RoboCasa365 32,1 %.
Franka Research 3: Spin Tracking 97,9 % (π0.5 32,3 %), Shell Game 91,7 % (Baselines etwa 50 %), Egg Pick-and-Place 61,1 % (π0.5 45,8 %), Plug Insertion 33,3 % (π0.5 20,8 %).
OpenArm-Humanoid: Object Grounding 87,5 % gegenüber 33,3 % für GR00T N1.6; Unseen Object 54,2 % gegenüber 37,5 % für π0.5.
Drei RECAP-Runden beim Eindrehen einer Glühbirne auf ALLEX: 353 ± 22 Frames und 4,1 ± 0,3 Versuche, gegenüber 1056 ± 326 Frames und 12,7 ± 3,0 Versuchen mit Verhaltensklonung.
Latenz auf einer RTX 5090: 71,2 ms (PyTorch eager) → 43,7 ms (1,63-fach) für das Modell mit allen Modalitäten.

Einschränkungen

Der Bericht hat keinen Abschnitt zu Einschränkungen; die folgenden Punkte stammen aus seinen eigenen berichteten Ergebnissen.
Mehrere funktionale Aufgaben sind noch weit von einer Lösung entfernt: Plug Insertion 33,3 % und Cup Swapping 45,8 % auf Franka Research 3; zusammengesetzte Aufgaben in RoboCasa365 19,0 % (gesehen) und 5,6 % (ungesehen).
Die Supervision für Tastsinn und Drehmoment stammt nur aus kleinen hauseigenen Datensätzen auf zwei Plattformen (ALLEX und Franka Research 3).
Die RL-Verfeinerung wird nur an einer einzigen Aufgabe gezeigt (Eindrehen einer Glühbirne).
Der ALLEX-Durchschnitt mischt Erfolgsraten mit Fortschrittswerten (Card Slide-and-Pick, Pot-to-Cup Pouring); das Abstract nennt 86,8 %, das Fazit dagegen etwa 90 %.

Wirkung auf das Fachgebiet

Bei Hugging Face Daily Papers erhielt die Arbeit 106 Upvotes und lag damit unter den obersten 5 % der dortigen Robotik-Papers der letzten sechs Monate. Der Bericht verlinkt ein GitHub-Repository (github.com/RLWRLD/RLDX-1), und seine Liste der Mitwirkenden verzeichnet die Planung der Veröffentlichung sowie die Lizenzierung von Daten, Code und Modellgewichten zur öffentlichen Verbreitung.

Zusammenfassung

Obwohl Vision-Language-Action-Modelle (VLAs) durch die vielseitige Intelligenz (d. h. breites Szenenverständnis und sprachkonditionierte Generalisierung), die sie von vortrainierten Vision-Language-Modellen geerbt haben, bemerkenswerte Fortschritte hin zu menschenähnlichen generalistischen Roboter-Policies gezeigt haben, tun sie sich bei komplexen realen Aufgaben, die breitere funktionale Fähigkeiten erfordern (z. B. Bewegungswahrnehmung, gedächtnisbewusste Entscheidungsfindung und physikalische Sensorik), weiterhin schwer. Um dem zu begegnen, stellen wir RLDX-1 vor, eine universelle Roboter-Policy für geschickte Manipulation, die auf dem Multi-Stream Action Transformer (MSAT) aufbaut, einer Architektur, die diese Fähigkeiten vereint, indem sie heterogene Modalitäten über modalitätsspezifische Streams mit modalitätsübergreifender gemeinsamer Self-Attention integriert. RLDX-1 kombiniert diese Architektur außerdem mit Designentscheidungen auf Systemebene, darunter die Synthese von Trainingsdaten für seltene Manipulationsszenarien, auf menschenähnliche Manipulation spezialisierte Lernverfahren und Inferenzoptimierungen für den Echtzeiteinsatz. Durch empirische Evaluation zeigen wir, dass RLDX-1 aktuelle Spitzen-VLAs (z. B. π0.5 und GR00T N1.6) sowohl in Simulationsbenchmarks als auch bei realen Aufgaben, die breite funktionale Fähigkeiten über allgemeine Vielseitigkeit hinaus erfordern, durchweg übertrifft. Insbesondere zeigt RLDX-1 seine Überlegenheit bei humanoiden ALLEX-Aufgaben mit Erfolgsraten von 86,8 %, während π0.5 und GR00T N1.6 etwa 40 % erreichen, was die Fähigkeit von RLDX-1 unterstreicht, einen humanoiden Roboter mit vielen DoF unter vielfältigen funktionalen Anforderungen zu steuern. Zusammengenommen positionieren diese Ergebnisse RLDX-1 als vielversprechenden Schritt hin zu verlässlichen VLAs für komplexe, kontaktreiche und dynamische geschickte Manipulation in der realen Welt.

Open Source Robotics