Spatial Forcing: Implicit Spatial Representation Alignment for Vision-Language-Action Models
Autori: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li · ICLR 2026
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.
In breve
Allineare gli embedding visivi dei VLA con la geometria di foundation model 3D dà ai modelli preaddestrati in 2D una consapevolezza spaziale senza sensori di profondità: risultati allo stato dell'arte e un addestramento fino a 3,8 volte più veloce.
Perché è importante
Corregge il punto debole che definisce l'attuale generazione di VLA, cioè lo scarso ancoraggio spaziale, con una ricetta che non richiede nuovi sensori, e ha battuto sia i VLA con input 2D sia quelli con input 3D addestrandosi in modo sostanzialmente più rapido.
Problema
I VLA ereditano dai loro backbone visione-linguaggio un preaddestramento solo 2D e quindi giudicano male il mondo 3D; aggiungere sensori o stimatori di profondità porta rumore, frammentazione dell'hardware e una copertura dei dati incompleta.
Soluzione proposta
Imporre implicitamente la comprensione spaziale: durante l'addestramento, allineare gli embedding visivi intermedi del VLA con le rappresentazioni geometriche di foundation model 3D preaddestrati, senza alcun input di profondità necessario in inferenza.
Idee chiave
- La comprensione spaziale si può instillare implicitamente in fase di addestramento invece di aggiungere sensori 3D in inferenza
- L'allineamento negli strati intermedi con foundation model 3D arricchisce la codifica spaziale più della fusione 3D a livello di input
- Rappresentazioni spaziali migliori si traducono direttamente in azioni robotiche più precise
- L'approccio funge anche da acceleratore dell'addestramento, fino a 3,8 volte, con una migliore efficienza nell'uso dei dati
Risultati principali
- Risultati allo stato dell'arte in simulazione e negli esperimenti nel mondo reale, superando sia i VLA con input 2D sia quelli con input 3D
- Accelerazione dell'addestramento fino a 3,8 volte
- Migliore efficienza nell'uso dei dati in diversi compiti robotici
Limiti
- Dipende dalla qualità e dalla copertura di dominio del foundation model 3D preaddestrato usato per l'allineamento
- Valutato su suite di benchmark di manipolazione e in contesti di laboratorio; la robustezza in un mondo aperto resta da dimostrare
Impatto sul settore
Un allineamento da inserire direttamente in fase di addestramento, che migliora la precisione delle azioni e l'efficienza nell'uso dei dati, abbassa il costo di policy di manipolazione capaci, e il suo approccio senza sensori si adatta ai bracci robotici economici catalogati da questa piattaforma.
Abstract
I modelli Vision-Language-Action (VLA) hanno mostrato di recente un forte potenziale nel permettere ai robot di seguire istruzioni in linguaggio naturale ed eseguire azioni precise. Tuttavia, la maggior parte dei VLA è costruita su modelli Vision-Language preaddestrati solo su dati 2D, che mancano di un'accurata consapevolezza spaziale e ne ostacolano la capacità di operare nel mondo fisico 3D. Le soluzioni esistenti cercano di incorporare input espliciti da sensori 3D, come mappe di profondità o nuvole di punti, ma questi approcci incontrano difficoltà dovute al rumore dei sensori, all'eterogeneità dell'hardware e alla copertura di profondità incompleta nei dataset esistenti. I metodi alternativi che stimano indizi 3D da immagini 2D risentono inoltre delle prestazioni limitate degli stimatori di profondità. Proponiamo Spatial Forcing (SF), una strategia di allineamento semplice ma efficace che costringe implicitamente i modelli VLA a sviluppare capacità di comprensione spaziale senza affidarsi a input 3D espliciti o a stimatori di profondità. SF allinea gli embedding visivi intermedi dei VLA con le rappresentazioni geometriche prodotte da foundation model 3D preaddestrati. Imponendo l'allineamento negli strati intermedi, SF guida i VLA a codificare rappresentazioni spaziali più ricche che migliorano la precisione delle azioni. Estesi esperimenti in simulazione e in ambienti reali dimostrano che SF ottiene risultati allo stato dell'arte, superando sia i VLA basati sul 2D sia quelli basati sul 3D. SF accelera inoltre l'addestramento fino a 3,8 volte e migliora l'efficienza nell'uso dei dati in diversi compiti robotici.
Link
- arXiv 2510.12276: https://arxiv.org/abs/2510.12276
- PDF: https://arxiv.org/pdf/2510.12276
- Codice: https://github.com/OpenHelix-Team/Spatial-Forcing
- Pagina del progetto: https://spatial-forcing.github.io/