PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation
Autori: Wenlong Huang, Yu-Wei Chao, Arsalan Mousavian, Ming-Yu Liu, Dieter Fox, Kaichun Mo, Li Fei-Fei · CVPR 2026
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.
In breve
PointWorld unifica stato e azione in uno spazio 3D condiviso sotto forma di flussi di punti, portando i modelli del mondo 3D alla scala della manipolazione robotica nel mondo reale.
Perché è importante
Porta la struttura 3D nei modelli del mondo, affrontando un punto debole noto dei modelli del mondo video 2D (l'incoerenza geometrica) per i compiti di manipolazione.
Problema
La maggior parte dei modelli del mondo appresi per la manipolazione robotica opera nello spazio 2D dei pixel, che fatica con la coerenza geometrica e con il trasferimento tra embodiment. La manipolazione robotica è fondamentalmente un problema 3D: le posizioni dei giunti sono specifiche dell'embodiment e i pixel perdono la struttura 3D. Scalare i modelli del mondo alla manipolazione in ambienti reali non controllati richiede sia una rappresentazione 3D sia dati vasti e diversificati.
Soluzione proposta
PointWorld è un grande modello del mondo 3D preaddestrato che unifica stato e azione come flussi di punti 3D in uno spazio 3D condiviso. Dati uno o pochi input RGB-D e una sequenza di comandi di azione di basso livello, predice spostamenti 3D per pixel che rispondono alle azioni. Rappresentare le azioni come flussi di punti 3D (invece che come posizioni dei giunti) condiziona direttamente sulla geometria fisica del robot e consente l'apprendimento tra embodiment diversi. Addestrato su ~2M traiettorie / 500 ore con un Franka a braccio singolo e un umanoide bimanuale.
Idee chiave
- I flussi di punti 3D sono una rappresentazione delle azioni indipendente dall'embodiment: generalizzano dove le azioni nello spazio dei giunti non riescono.
- Condizionare sulla struttura 3D (invece che sui pixel 2D) migliora sostanzialmente la coerenza geometrica delle predizioni del modello del mondo.
- L'addestramento cross-embodiment è fattibile quando la rappresentazione delle azioni è in 3D anziché nello spazio delle configurazioni.
- Combinare dati reali e simulati sulla scala di più milioni di traiettorie è reso possibile dall'RGB-D unito ai moderni strumenti di visione 3D.
Risultati principali
- Scala a ~2M traiettorie / 500 ore su due embodiment (braccio Franka, umanoide bimanuale).
- Predice spostamenti 3D per pixel coerenti con le sequenze di azioni date in scene di manipolazione in un mondo aperto.
- La generalizzazione cross-embodiment funziona perché le azioni sono in 3D, non nello spazio dei giunti.
- Abbastanza generalista da poter essere usato come base per la valutazione delle policy senza fine-tuning per compito.
Limiti
- Richiede input RGB-D: non è ancora dimostrato su configurazioni solo RGB.
- Ambito da articolo di workshop: i risultati sul miglioramento delle policy a valle sono limitati rispetto alla valutazione del modello del mondo.
- Resta un divario sim-to-real per il contatto fine, soprattutto con gli oggetti deformabili.
Impatto sul settore
PointWorld è uno dei primi modelli del mondo credibili ancorati al 3D per la manipolazione su larga scala in ambienti reali non controllati. Unificando stato e azione in 3D, affronta direttamente l'incoerenza geometrica che ha frenato i modelli del mondo video 2D, e mostra un percorso praticabile verso foundation model del mondo indipendenti dall'embodiment per la robotica.
Abstract
Gli esseri umani prevedono, con uno sguardo e immaginando un'azione del proprio corpo, come risponderà il mondo 3D: una capacità altrettanto vitale per la manipolazione robotica. Introduciamo PointWorld, un grande modello del mondo 3D preaddestrato che unifica stato e azione in uno spazio 3D condiviso sotto forma di flussi di punti 3D: dati lo stato attuale e il flusso di punti dell'azione, predice il flusso di punti dello stato futuro. PointWorld è addestrato su dati di manipolazione diversificati raccolti in ambienti reali non controllati e scala a oggetti e compiti nuovi.
Link
- arXiv 2601.03782: https://arxiv.org/abs/2601.03782
- DOI 10.48550/arXiv.2601.03782: https://doi.org/10.48550/arXiv.2601.03782
- PDF: https://arxiv.org/pdf/2601.03782
- Pagina del progetto: https://openreview.net/forum?id=65WDZ9Jw4B