RLDX-1 Technical Report

Autores: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

RLDX-1 añade flujos de movimiento, memoria y par/tacto a un VLA de flow matching basado en Qwen3-VL y supera a π0.5 y GR00T N1.6 en simulación y en los robots ALLEX, OpenArm y Franka.

Por qué importa

El informe pone a prueba estas capacidades en hardware real con tareas en las que la visión por sí sola no basta, y muestra cómo fallan los VLA de referencia (movimientos de cinta transportadora a velocidad fija, elecciones de caja aleatorias o repetidas). También documenta una cadena de inferencia que ejecuta un VLA con una red troncal de 8B a 43,7 ms por paso en una sola GPU de escritorio.

Problema

Los VLA gestionan la comprensión de escenas y el seguimiento de instrucciones, pero muchas tareas reales también necesitan conciencia del movimiento (recoger de una cinta transportadora en movimiento), memoria de eventos anteriores (un juego de trileros) y percepción física cuando la visión está ocluida o no es informativa (inserción de una clavija, verter hasta un peso objetivo). Los VLA existentes actúan sobre todo a partir de observaciones actuales estáticas.

Solución propuesta

RLDX-1 ajusta Qwen3-VL 8B con VQA de robots, añade un módulo de movimiento de autosimilitud espaciotemporal con compresión de varios fotogramas, una cola de memoria de características cognitivas pasadas y un Multi-Stream Action Transformer, un modelo de acción de flow matching de estilo MM-DiT con flujos separados de cognición, acción y física unidos por autoatención; el flujo físico recibe señales de par y táctiles y predice sus valores futuros. El entrenamiento se desarrolla en tres etapas (preentrenamiento multiencarnación, entrenamiento intermedio por encarnación en ALLEX y Franka Research 3 con datos sintéticos generados con vídeo y post-entrenamiento por tarea con RL opcional de estilo RECAP), y la captura estática de grafos CUDA más kernels fusionados escritos a mano reducen la latencia de inferencia.

Ideas clave

• Los flujos de modalidad separados permiten enmascarar las entradas de par y táctiles cuando faltan, de modo que una sola arquitectura sirve para robots con y sin sensores físicos.
• La percepción física cambia el comportamiento en los pasos críticos de contacto: con realimentación de par, RLDX-1 detecta el cambio de peso del vaso al verter, y con entrada táctil empuja hacia abajo una vez que la clavija llega al enchufe.
• Los datos sintéticos generados con vídeo ayudan: el éxito en GR-1 Tabletop subió del 41,0 % solo con datos reales al 50,1 % con el conjunto sintético completo, y aumenta con la proporción sintética.
• Tomar las características del VLM de una capa intermedia (18, 60,9 %) supera a una capa temprana (8, 51,1 %) o tardía (28, 56,3 %) en RoboCasa Kitchen; el entrenamiento con VQA de robots añade 3,4 puntos.
• Torch Compile por sí solo da solo alrededor de 1,18× sobre la ejecución eager porque el grafo se fragmenta; la conversión a grafo estático más kernels fusionados alcanza 1,63×.

Resultados principales

• Humanoide ALLEX (cuatro tareas): media de 86,8 frente a 39,1 de π0.5 y 44,8 de GR00T N1.6; Object-in-Box Selection 91,7 % frente a 33,3 % y 29,2 %; Conveyor Pick-and-Place 87,5 % frente a 29,2 % y 50,0 %.
• Simulación: LIBERO 97,8 %, LIBERO-Plus 86,7 %, SIMPLER Google-VM 81,5 %, Google-VA 77,4 %, WidowX 71,9 %, RoboCasa Kitchen 70,6 %, GR-1 Tabletop 58,7 % (GR00T N1.6: 47,6 %), RoboCasa365 32,1 %.
• Franka Research 3: Spin Tracking 97,9 % (π0.5 32,3 %), Shell Game 91,7 % (métodos de referencia en torno al 50 %), Egg Pick-and-Place 61,1 % (π0.5 45,8 %), Plug Insertion 33,3 % (π0.5 20,8 %).
• Humanoide OpenArm: Object Grounding 87,5 % frente al 33,3 % de GR00T N1.6; Unseen Object 54,2 % frente al 37,5 % de π0.5.
• Tres rondas de RECAP en el enroscado de una bombilla con ALLEX: 353 ± 22 fotogramas y 4,1 ± 0,3 intentos, frente a 1056 ± 326 fotogramas y 12,7 ± 3,0 intentos con clonación de comportamiento.
• Latencia en una RTX 5090: 71,2 ms (PyTorch eager) → 43,7 ms (1,63×) para el modelo con todas las modalidades.

Limitaciones

• El informe no tiene una sección de limitaciones; los puntos siguientes proceden de sus propios resultados.
• Varias tareas funcionales siguen lejos de estar resueltas: Plug Insertion 33,3 % y Cup Swapping 45,8 % en Franka Research 3; tareas compuestas de RoboCasa365 19,0 % (vistas) y 5,6 % (no vistas).
• La supervisión táctil y de par procede solo de pequeños conjuntos de datos propios en dos plataformas (ALLEX y Franka Research 3).
• El refinamiento con RL se muestra en una sola tarea (enroscado de una bombilla).
• La media de ALLEX mezcla tasas de éxito con puntuaciones de progreso (Card Slide-and-Pick, Pot-to-Cup Pouring); el resumen da 86,8 %, mientras que la conclusión dice aproximadamente 90 %.

Impacto en el campo

En Hugging Face daily papers obtuvo 106 votos positivos, dentro del 5 % superior de los artículos de robótica de ese sitio en los últimos seis meses. El informe enlaza un repositorio de GitHub (github.com/RLWRLD/RLDX-1), y su lista de colaboradores registra la planificación de la publicación y la concesión de licencias de datos, código y pesos del modelo para su distribución pública.

Resumen

Aunque los modelos Visión-Lenguaje-Acción (VLA) han mostrado un progreso notable hacia políticas robóticas generalistas de tipo humano gracias a la inteligencia versátil (es decir, la comprensión amplia de escenas y la generalización condicionada por el lenguaje) heredada de los modelos de visión-lenguaje preentrenados, todavía tienen dificultades con tareas complejas del mundo real que requieren capacidades funcionales más amplias (p. ej., conciencia del movimiento, toma de decisiones con memoria y percepción física). Para abordarlo, presentamos RLDX-1, una política robótica de propósito general para la manipulación diestra construida sobre el Multi-Stream Action Transformer (MSAT), una arquitectura que unifica estas capacidades integrando modalidades heterogéneas mediante flujos específicos de cada modalidad con autoatención conjunta intermodal. RLDX-1 combina además esta arquitectura con decisiones de diseño a nivel de sistema, entre ellas la síntesis de datos de entrenamiento para escenarios de manipulación poco frecuentes, procedimientos de aprendizaje especializados para la manipulación de tipo humano y optimizaciones de inferencia para el despliegue en tiempo real. Mediante evaluación empírica, mostramos que RLDX-1 supera de forma consistente a VLA recientes de frontera (p. ej., π0.5 y GR00T N1.6) tanto en bancos de pruebas de simulación como en tareas del mundo real que requieren capacidades funcionales amplias más allá de la versatilidad general. En particular, RLDX-1 muestra superioridad en las tareas del humanoide ALLEX al alcanzar tasas de éxito del 86,8 % mientras que π0.5 y GR00T N1.6 alcanzan alrededor del 40 %, lo que pone de relieve la capacidad de RLDX-1 para controlar un robot humanoide de muchos DoF ante demandas funcionales diversas. En conjunto, estos resultados sitúan a RLDX-1 como un paso prometedor hacia VLA fiables para la manipulación diestra en el mundo real compleja, rica en contacto y dinámica.

Enlaces

• arXiv 2605.03269: https://arxiv.org/abs/2605.03269
• PDF: https://arxiv.org/pdf/2605.03269v1
• Código: https://github.com/RLWRLD/RLDX-1