RLDX-1 Technical Report

Auteurs: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

RLDX-1 ajoute des flux de mouvement, de mémoire et de couple/toucher à un VLA de flow matching fondé sur Qwen3-VL et bat π0.5 et GR00T N1.6 en simulation ainsi que sur les robots ALLEX, OpenArm et Franka.

Pourquoi c'est important

Le rapport teste ces capacités sur du matériel réel avec des tâches où la vision seule ne suffit pas, et montre comment les VLA de référence échouent (mouvements à vitesse fixe sur le convoyeur, choix de boîte aléatoires ou répétés). Il documente aussi un pipeline d'inférence qui exécute un VLA à backbone de 8B à 43,7 ms par pas sur un seul GPU de bureau.

Problème

Les VLA gèrent la compréhension de scène et le suivi d'instructions, mais de nombreuses tâches réelles exigent aussi la perception du mouvement (saisir sur un convoyeur en mouvement), la mémoire d'événements antérieurs (un jeu de bonneteau) et la perception physique lorsque la vision est occultée ou peu informative (insertion d'une fiche, versement jusqu'à un poids cible). Les VLA existants agissent surtout sur des observations courantes statiques.

Solution proposée

RLDX-1 effectue un réglage fin de Qwen3-VL 8B sur de la VQA robotique, ajoute un module de mouvement par auto-similarité spatio-temporelle avec compression multi-images, une file mémoire de caractéristiques cognitives passées, et un Multi-Stream Action Transformer, un modèle d'action de flow matching de style MM-DiT avec des flux de cognition, d'action et de physique séparés, reliés par auto-attention ; le flux physique reçoit les signaux de couple et tactiles et prédit leurs valeurs futures. L'entraînement se déroule en trois étapes (pré-entraînement multi-corps, entraînement intermédiaire par corps sur ALLEX et Franka Research 3 avec des données synthétiques générées par vidéo, post-entraînement par tâche avec un RL optionnel de style RECAP), et la capture statique de graphes CUDA ainsi que des noyaux fusionnés écrits à la main réduisent la latence d'inférence.

Idées clés

• Des flux de modalité séparés permettent de masquer les entrées de couple et tactiles lorsqu'elles sont absentes ; une même architecture sert donc des robots avec et sans capteurs physiques.
• La perception physique modifie le comportement aux étapes critiques de contact : avec un retour de couple, RLDX-1 remarque le changement de poids de la tasse lors du versement, et avec une entrée tactile, il pousse vers le bas une fois la fiche arrivée à la prise.
• Les données synthétiques générées par vidéo aident : la réussite sur GR-1 Tabletop est passée de 41,0 % avec les seules données réelles à 50,1 % avec l'ensemble synthétique complet, augmentant avec la part synthétique.
• Prendre les caractéristiques du VLM dans une couche intermédiaire (18, 60,9 %) fait mieux qu'une couche précoce (8, 51,1 %) ou tardive (28, 56,3 %) sur RoboCasa Kitchen ; l'entraînement sur VQA robotique ajoute 3,4 points.
• Torch Compile seul n'apporte qu'environ 1,18× par rapport à l'exécution eager, car le graphe se fragmente ; la conversion en graphe statique associée à des noyaux fusionnés atteint 1,63×.

Principaux résultats

• Humanoïde ALLEX (quatre tâches) : moyenne de 86,8 contre 39,1 pour π0.5 et 44,8 pour GR00T N1.6 ; Object-in-Box Selection 91,7 % contre 33,3 % et 29,2 % ; Conveyor Pick-and-Place 87,5 % contre 29,2 % et 50,0 %.
• Simulation : LIBERO 97,8 %, LIBERO-Plus 86,7 %, SIMPLER Google-VM 81,5 %, Google-VA 77,4 %, WidowX 71,9 %, RoboCasa Kitchen 70,6 %, GR-1 Tabletop 58,7 % (GR00T N1.6 : 47,6 %), RoboCasa365 32,1 %.
• Franka Research 3 : Spin Tracking 97,9 % (π0.5 32,3 %), Shell Game 91,7 % (références environ 50 %), Egg Pick-and-Place 61,1 % (π0.5 45,8 %), Plug Insertion 33,3 % (π0.5 20,8 %).
• Humanoïde OpenArm : Object Grounding 87,5 % contre 33,3 % pour GR00T N1.6 ; Unseen Object 54,2 % contre 37,5 % pour π0.5.
• Trois cycles de RECAP sur la tâche ALLEX consistant à tourner une ampoule : 353 ± 22 images et 4,1 ± 0,3 tentatives, contre 1056 ± 326 images et 12,7 ± 3,0 tentatives avec le clonage de comportement.
• Latence sur une RTX 5090 : 71,2 ms (PyTorch eager) → 43,7 ms (1,63×) pour le modèle toutes modalités.

Limites

• Le rapport ne comporte pas de section sur les limites ; les points ci-dessous proviennent de ses propres résultats rapportés.
• Plusieurs tâches fonctionnelles restent loin d'être résolues : Plug Insertion 33,3 % et Cup Swapping 45,8 % sur Franka Research 3 ; tâches composites RoboCasa365 19,0 % (vues) et 5,6 % (inédites).
• La supervision tactile et de couple ne provient que de petits jeux de données internes sur deux plateformes (ALLEX et Franka Research 3).
• L'affinage par RL n'est montré que sur une seule tâche (tourner une ampoule).
• La moyenne ALLEX mélange des taux de réussite et des scores de progression (Card Slide-and-Pick, Pot-to-Cup Pouring) ; le résumé donne 86,8 % tandis que la conclusion indique environ 90 %.

Impact sur le domaine

Sur Hugging Face Daily Papers, il a recueilli 106 votes positifs, se classant dans les 5 % supérieurs des articles de robotique de ce site sur les six derniers mois. Le rapport renvoie à un dépôt GitHub (github.com/RLWRLD/RLDX-1), et sa liste de contributeurs mentionne la planification de la publication et l'octroi de licences pour les données, le code et les poids du modèle en vue d'une diffusion publique.

Résumé

Si les modèles Vision-Langage-Action (VLA) ont montré des progrès remarquables vers des politiques robotiques généralistes semblables à celles des humains grâce à l'intelligence polyvalente (c'est-à-dire une large compréhension des scènes et une généralisation conditionnée par le langage) héritée de modèles Vision-Langage pré-entraînés, ils peinent encore sur des tâches réelles complexes qui exigent des capacités fonctionnelles plus larges (par exemple la perception du mouvement, la prise de décision tenant compte de la mémoire et la perception physique). Pour y remédier, nous présentons RLDX-1, une politique robotique généraliste pour la manipulation dextre, construite sur le Multi-Stream Action Transformer (MSAT), une architecture qui unifie ces capacités en intégrant des modalités hétérogènes au moyen de flux propres à chaque modalité avec une auto-attention conjointe intermodale. RLDX-1 combine en outre cette architecture avec des choix de conception au niveau du système, notamment la synthèse de données d'entraînement pour des scénarios de manipulation rares, des procédures d'apprentissage spécialisées pour une manipulation semblable à celle des humains et des optimisations de l'inférence pour un déploiement en temps réel. Par une évaluation empirique, nous montrons que RLDX-1 surpasse systématiquement de récents VLA de pointe (par exemple π0.5 et GR00T N1.6) à la fois sur des benchmarks en simulation et sur des tâches réelles qui exigent de larges capacités fonctionnelles au-delà de la polyvalence générale. En particulier, RLDX-1 montre sa supériorité sur les tâches humanoïdes ALLEX en atteignant des taux de réussite de 86,8 %, alors que π0.5 et GR00T N1.6 atteignent environ 40 %, ce qui souligne la capacité de RLDX-1 à commander un robot humanoïde à nombreux DoF face à des exigences fonctionnelles variées. Ensemble, ces résultats font de RLDX-1 une étape prometteuse vers des VLA fiables pour la manipulation dextre réelle complexe, riche en contacts et dynamique.

Liens

• arXiv 2605.03269: https://arxiv.org/abs/2605.03269
• PDF: https://arxiv.org/pdf/2605.03269v1
• Code: https://github.com/RLWRLD/RLDX-1