RLDX-1 Technical Report

Autores: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Jinwoo Shin · arXiv 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O RLDX-1 acrescenta fluxos de movimento, memória e torque/tato a um VLA de flow matching baseado no Qwen3-VL e supera π0.5 e GR00T N1.6 em simulação e nos robôs ALLEX, OpenArm e Franka.

Por que importa

O relatório testa essas capacidades em hardware real com tarefas em que a visão sozinha é insuficiente, e mostra como os VLAs de referência falham (movimentos de esteira em velocidade fixa, escolhas de caixa aleatórias ou repetidas). Ele também documenta um pipeline de inferência que roda um VLA com backbone de 8B a 43,7 ms por passo em uma única GPU de desktop.

Problema

VLAs lidam com compreensão de cenas e seguimento de instruções, mas muitas tarefas reais também exigem consciência de movimento (pegar de uma esteira em movimento), memória de eventos anteriores (um jogo dos copinhos) e percepção física quando a visão está ocluída ou não é informativa (inserção de plugue, despejar até um peso-alvo). Os VLAs existentes agem principalmente sobre observações atuais estáticas.

Solução proposta

O RLDX-1 faz o ajuste fino do Qwen3-VL 8B com VQA de robôs, acrescenta um módulo de movimento de autossimilaridade espaço-temporal com compressão de múltiplos quadros, uma fila de memória de características cognitivas passadas e um Multi-Stream Action Transformer, um modelo de ação de flow matching no estilo MM-DiT com fluxos separados de cognição, ação e física unidos por autoatenção; o fluxo físico recebe sinais de torque e táteis e prevê seus valores futuros. O treinamento ocorre em três estágios (pré-treinamento com múltiplos corpos, treinamento intermediário por corpo no ALLEX e no Franka Research 3 com dados sintéticos gerados por vídeo e pós-treinamento por tarefa com RL opcional no estilo RECAP), e a captura estática de grafos CUDA mais kernels fundidos escritos à mão reduzem a latência de inferência.

Principais ideias

Fluxos de modalidade separados permitem mascarar as entradas de torque e táteis quando ausentes, de modo que uma única arquitetura serve a robôs com e sem sensores físicos.
A percepção física muda o comportamento nos passos críticos de contato: com realimentação de torque, o RLDX-1 percebe a mudança de peso do copo ao despejar, e com entrada tátil empurra para baixo assim que o plugue chega à tomada.
Dados sintéticos gerados por vídeo ajudam: o sucesso no GR-1 Tabletop subiu de 41,0% apenas com dados reais para 50,1% com o conjunto sintético completo, crescendo com a proporção sintética.
Tirar as características do VLM de uma camada intermediária (18, 60,9%) supera uma camada inicial (8, 51,1%) ou final (28, 56,3%) no RoboCasa Kitchen; o treinamento com VQA de robôs acrescenta 3,4 pontos.
O Torch Compile sozinho dá apenas cerca de 1,18× sobre a execução eager porque o grafo se fragmenta; a conversão para grafo estático mais kernels fundidos chega a 1,63×.

Principais resultados

Humanoide ALLEX (quatro tarefas): média de 86,8 contra 39,1 do π0.5 e 44,8 do GR00T N1.6; Object-in-Box Selection 91,7% vs 33,3% e 29,2%; Conveyor Pick-and-Place 87,5% vs 29,2% e 50,0%.
Simulação: LIBERO 97,8%, LIBERO-Plus 86,7%, SIMPLER Google-VM 81,5%, Google-VA 77,4%, WidowX 71,9%, RoboCasa Kitchen 70,6%, GR-1 Tabletop 58,7% (GR00T N1.6: 47,6%), RoboCasa365 32,1%.
Franka Research 3: Spin Tracking 97,9% (π0.5 32,3%), Shell Game 91,7% (referências em torno de 50%), Egg Pick-and-Place 61,1% (π0.5 45,8%), Plug Insertion 33,3% (π0.5 20,8%).
Humanoide OpenArm: Object Grounding 87,5% vs 33,3% do GR00T N1.6; Unseen Object 54,2% vs 37,5% do π0.5.
Três rodadas de RECAP na tarefa de rosquear uma lâmpada no ALLEX: 353 ± 22 quadros e 4,1 ± 0,3 tentativas, contra 1056 ± 326 quadros e 12,7 ± 3,0 tentativas com clonagem de comportamento.
Latência em uma RTX 5090: 71,2 ms (PyTorch eager) → 43,7 ms (1,63×) para o modelo com todas as modalidades.

Limitações

O relatório não tem seção de limitações; os pontos abaixo vêm dos próprios resultados relatados.
Várias tarefas funcionais continuam longe de resolvidas: Plug Insertion 33,3% e Cup Swapping 45,8% no Franka Research 3; tarefas compostas do RoboCasa365 19,0% (vistas) e 5,6% (inéditas).
A supervisão tátil e de torque vem apenas de pequenos conjuntos de dados internos em duas plataformas (ALLEX e Franka Research 3).
O refinamento por RL é mostrado em uma única tarefa (rosquear uma lâmpada).
A média do ALLEX mistura taxas de sucesso com pontuações de progresso (Card Slide-and-Pick, Pot-to-Cup Pouring); o resumo dá 86,8%, enquanto a conclusão diz aproximadamente 90%.

Impacto na área

No Hugging Face daily papers, recebeu 106 votos positivos, entre os 5% melhores artigos de robótica ali nos últimos seis meses. O relatório traz o link de um repositório no GitHub (github.com/RLWRLD/RLDX-1), e sua lista de colaboradores registra o planejamento da publicação e o licenciamento de dados, código e pesos do modelo para distribuição pública.

Resumo

Embora os modelos Vision-Language-Action (VLAs) tenham mostrado um progresso notável rumo a políticas robóticas generalistas semelhantes às humanas, graças à inteligência versátil (isto é, compreensão ampla de cenas e generalização condicionada à linguagem) herdada de modelos de visão-linguagem pré-treinados, eles ainda têm dificuldade com tarefas complexas do mundo real que exigem capacidades funcionais mais amplas (por exemplo, consciência de movimento, tomada de decisão com memória e percepção física). Para resolver isso, apresentamos o RLDX-1, uma política robótica de uso geral para manipulação destra construída sobre o Multi-Stream Action Transformer (MSAT), uma arquitetura que unifica essas capacidades integrando modalidades heterogêneas por meio de fluxos específicos de cada modalidade com autoatenção conjunta intermodal. O RLDX-1 combina ainda essa arquitetura com escolhas de projeto em nível de sistema, incluindo a síntese de dados de treinamento para cenários de manipulação raros, procedimentos de aprendizado especializados para manipulação semelhante à humana e otimizações de inferência para implantação em tempo real. Por meio de avaliação empírica, mostramos que o RLDX-1 supera de forma consistente VLAs recentes de fronteira (por exemplo, π0.5 e GR00T N1.6) tanto em benchmarks de simulação quanto em tarefas do mundo real que exigem capacidades funcionais amplas além da versatilidade geral. Em particular, o RLDX-1 mostra superioridade nas tarefas do humanoide ALLEX ao atingir taxas de sucesso de 86,8%, enquanto π0.5 e GR00T N1.6 atingem cerca de 40%, destacando a capacidade do RLDX-1 de controlar um robô humanoide com muitos DoF sob demandas funcionais diversas. Em conjunto, esses resultados posicionam o RLDX-1 como um passo promissor rumo a VLAs confiáveis para manipulação destra no mundo real complexa, rica em contato e dinâmica.

Open Source Robotics