RLDX-1 Technical Report

Autori: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

RLDX-1 aggiunge flussi di movimento, memoria e coppia/tatto a un VLA di flow matching basato su Qwen3-VL e batte π0.5 e GR00T N1.6 in simulazione e sui robot ALLEX, OpenArm e Franka.

Perché è importante

Il report mette alla prova queste capacità su hardware reale con compiti in cui la sola visione non basta, e mostra come falliscono i VLA di riferimento (movimenti sul nastro trasportatore a velocità fissa, scelte di scatola casuali o ripetute). Documenta inoltre una pipeline di inferenza che esegue un VLA con backbone da 8B a 43,7 ms per passo su una sola GPU desktop.

Problema

I VLA gestiscono la comprensione della scena e l'esecuzione di istruzioni, ma molti compiti reali richiedono anche consapevolezza del movimento (prelievo da un nastro trasportatore in movimento), memoria di eventi precedenti (il gioco delle tre carte con i bicchieri) e percezione fisica quando la visione è occlusa o poco informativa (inserimento di una spina, versamento fino a un peso obiettivo). I VLA esistenti agiscono per lo più su osservazioni attuali statiche.

Soluzione proposta

RLDX-1 esegue il fine-tuning di Qwen3-VL 8B su VQA robotico, aggiunge un modulo di movimento ad autosimilarità spazio-temporale con compressione multi-fotogramma, una coda di memoria delle caratteristiche cognitive passate e un Multi-Stream Action Transformer, un modello d'azione di flow matching in stile MM-DiT con flussi separati di cognizione, azione e fisica uniti dalla self-attention; il flusso fisico riceve segnali di coppia e tattili e ne predice i valori futuri. L'addestramento si svolge in tre stadi (preaddestramento multi-embodiment, mid-training per embodiment su ALLEX e Franka Research 3 con dati sintetici generati da video, post-training per compito con RL opzionale in stile RECAP), e la cattura statica dei grafi CUDA più kernel fusi scritti a mano riducono la latenza di inferenza.

Idee chiave

• Flussi di modalità separati permettono di mascherare gli ingressi di coppia e tattili quando mancano, così un'unica architettura serve robot con e senza sensori fisici.
• La percezione fisica cambia il comportamento nei passi critici per il contatto: con il feedback di coppia RLDX-1 rileva la variazione di peso della tazza durante il versamento, e con l'ingresso tattile spinge verso il basso quando la spina raggiunge la presa.
• I dati sintetici generati da video aiutano: il successo su GR-1 Tabletop è salito dal 41,0% con soli dati reali al 50,1% con l'insieme sintetico completo, crescendo con la quota sintetica.
• Prendere le caratteristiche del VLM da uno strato intermedio (18, 60,9%) batte uno strato iniziale (8, 51,1%) o finale (28, 56,3%) su RoboCasa Kitchen; l'addestramento con VQA robotico aggiunge 3,4 punti.
• Torch Compile da solo dà solo circa 1,18× rispetto all'esecuzione eager perché il grafo si frammenta; la conversione a grafo statico più kernel fusi arriva a 1,63×.

Risultati principali

• Umanoide ALLEX (quattro compiti): media di 86,8 contro 39,1 di π0.5 e 44,8 di GR00T N1.6; Object-in-Box Selection 91,7% contro 33,3% e 29,2%; Conveyor Pick-and-Place 87,5% contro 29,2% e 50,0%.
• Simulazione: LIBERO 97,8%, LIBERO-Plus 86,7%, SIMPLER Google-VM 81,5%, Google-VA 77,4%, WidowX 71,9%, RoboCasa Kitchen 70,6%, GR-1 Tabletop 58,7% (GR00T N1.6: 47,6%), RoboCasa365 32,1%.
• Franka Research 3: Spin Tracking 97,9% (π0.5 32,3%), Shell Game 91,7% (metodi di riferimento intorno al 50%), Egg Pick-and-Place 61,1% (π0.5 45,8%), Plug Insertion 33,3% (π0.5 20,8%).
• Umanoide OpenArm: Object Grounding 87,5% contro il 33,3% di GR00T N1.6; Unseen Object 54,2% contro il 37,5% di π0.5.
• Tre round di RECAP sull'avvitamento di una lampadina con ALLEX: 353 ± 22 fotogrammi e 4,1 ± 0,3 tentativi, contro 1056 ± 326 fotogrammi e 12,7 ± 3,0 tentativi con il behavior cloning.
• Latenza su una RTX 5090: 71,2 ms (PyTorch eager) → 43,7 ms (1,63×) per il modello con tutte le modalità.

Limiti

• Il report non ha una sezione sui limiti; i punti seguenti derivano dai suoi stessi risultati.
• Diversi compiti funzionali restano lontani dall'essere risolti: Plug Insertion 33,3% e Cup Swapping 45,8% su Franka Research 3; compiti compositi di RoboCasa365 19,0% (visti) e 5,6% (non visti).
• La supervisione tattile e di coppia proviene solo da piccoli dataset interni su due piattaforme (ALLEX e Franka Research 3).
• Il perfezionamento con RL è mostrato su un solo compito (avvitamento di una lampadina).
• La media di ALLEX mescola tassi di successo con punteggi di avanzamento (Card Slide-and-Pick, Pot-to-Cup Pouring); l'abstract indica 86,8% mentre la conclusione dice circa 90%.

Impatto sul settore

Su Hugging Face daily papers ha ricevuto 106 voti positivi, nel 5% superiore degli articoli di robotica lì presenti negli ultimi sei mesi. Il report fornisce il link a un repository GitHub (github.com/RLWRLD/RLDX-1), e il suo elenco dei contributori registra la pianificazione del rilascio e la concessione in licenza di dati, codice e pesi del modello per la distribuzione pubblica.

Abstract

Sebbene i modelli Vision-Language-Action (VLA) abbiano mostrato progressi notevoli verso policy robotiche generaliste simili a quelle umane grazie all'intelligenza versatile (cioè l'ampia comprensione della scena e la generalizzazione condizionata dal linguaggio) ereditata dai modelli Vision-Language preaddestrati, faticano ancora con compiti complessi del mondo reale che richiedono capacità funzionali più ampie (ad es. consapevolezza del movimento, decisioni basate sulla memoria e percezione fisica). Per affrontare questo problema presentiamo RLDX-1, una policy robotica di uso generale per la manipolazione fine costruita sul Multi-Stream Action Transformer (MSAT), un'architettura che unifica queste capacità integrando modalità eterogenee tramite flussi specifici per modalità con self-attention congiunta intermodale. RLDX-1 combina inoltre questa architettura con scelte progettuali a livello di sistema, tra cui la sintesi di dati di addestramento per scenari di manipolazione rari, procedure di apprendimento specializzate per la manipolazione simile a quella umana e ottimizzazioni dell'inferenza per il dispiegamento in tempo reale. Attraverso la valutazione empirica mostriamo che RLDX-1 supera costantemente i recenti VLA di frontiera (ad es. π0.5 e GR00T N1.6) sia nei benchmark di simulazione sia in compiti del mondo reale che richiedono ampie capacità funzionali oltre la versatilità generale. In particolare, RLDX-1 mostra la propria superiorità nei compiti dell'umanoide ALLEX raggiungendo tassi di successo dell'86,8% mentre π0.5 e GR00T N1.6 raggiungono circa il 40%, evidenziando la capacità di RLDX-1 di controllare un robot umanoide con molti DoF di fronte a esigenze funzionali diverse. Nel complesso, questi risultati collocano RLDX-1 come un passo promettente verso VLA affidabili per la manipolazione fine nel mondo reale complessa, ricca di contatti e dinamica.

Link

• arXiv 2605.03269: https://arxiv.org/abs/2605.03269
• PDF: https://arxiv.org/pdf/2605.03269v1
• Codice: https://github.com/RLWRLD/RLDX-1