Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation

Autori: Wenlong Huang, Yu-Wei Chao, Arsalan Mousavian, Ming-Yu Liu, Dieter Fox, Kaichun Mo, Li Fei-Fei · CVPR 2026

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

PointWorld unifica stato e azione in uno spazio 3D condiviso sotto forma di flussi di punti, portando i modelli del mondo 3D alla scala della manipolazione robotica nel mondo reale.

Perché è importante

Porta la struttura 3D nei modelli del mondo, affrontando un punto debole noto dei modelli del mondo video 2D (l'incoerenza geometrica) per i compiti di manipolazione.

Problema

La maggior parte dei modelli del mondo appresi per la manipolazione robotica opera nello spazio 2D dei pixel, che fatica con la coerenza geometrica e con il trasferimento tra embodiment. La manipolazione robotica è fondamentalmente un problema 3D: le posizioni dei giunti sono specifiche dell'embodiment e i pixel perdono la struttura 3D. Scalare i modelli del mondo alla manipolazione in ambienti reali non controllati richiede sia una rappresentazione 3D sia dati vasti e diversificati.

Soluzione proposta

PointWorld è un grande modello del mondo 3D preaddestrato che unifica stato e azione come flussi di punti 3D in uno spazio 3D condiviso. Dati uno o pochi input RGB-D e una sequenza di comandi di azione di basso livello, predice spostamenti 3D per pixel che rispondono alle azioni. Rappresentare le azioni come flussi di punti 3D (invece che come posizioni dei giunti) condiziona direttamente sulla geometria fisica del robot e consente l'apprendimento tra embodiment diversi. Addestrato su ~2M traiettorie / 500 ore con un Franka a braccio singolo e un umanoide bimanuale.

Idee chiave

  • I flussi di punti 3D sono una rappresentazione delle azioni indipendente dall'embodiment: generalizzano dove le azioni nello spazio dei giunti non riescono.
  • Condizionare sulla struttura 3D (invece che sui pixel 2D) migliora sostanzialmente la coerenza geometrica delle predizioni del modello del mondo.
  • L'addestramento cross-embodiment è fattibile quando la rappresentazione delle azioni è in 3D anziché nello spazio delle configurazioni.
  • Combinare dati reali e simulati sulla scala di più milioni di traiettorie è reso possibile dall'RGB-D unito ai moderni strumenti di visione 3D.

Risultati principali

  • Scala a ~2M traiettorie / 500 ore su due embodiment (braccio Franka, umanoide bimanuale).
  • Predice spostamenti 3D per pixel coerenti con le sequenze di azioni date in scene di manipolazione in un mondo aperto.
  • La generalizzazione cross-embodiment funziona perché le azioni sono in 3D, non nello spazio dei giunti.
  • Abbastanza generalista da poter essere usato come base per la valutazione delle policy senza fine-tuning per compito.

Limiti

  • Richiede input RGB-D: non è ancora dimostrato su configurazioni solo RGB.
  • Ambito da articolo di workshop: i risultati sul miglioramento delle policy a valle sono limitati rispetto alla valutazione del modello del mondo.
  • Resta un divario sim-to-real per il contatto fine, soprattutto con gli oggetti deformabili.

Impatto sul settore

PointWorld è uno dei primi modelli del mondo credibili ancorati al 3D per la manipolazione su larga scala in ambienti reali non controllati. Unificando stato e azione in 3D, affronta direttamente l'incoerenza geometrica che ha frenato i modelli del mondo video 2D, e mostra un percorso praticabile verso foundation model del mondo indipendenti dall'embodiment per la robotica.

Abstract

Gli esseri umani prevedono, con uno sguardo e immaginando un'azione del proprio corpo, come risponderà il mondo 3D: una capacità altrettanto vitale per la manipolazione robotica. Introduciamo PointWorld, un grande modello del mondo 3D preaddestrato che unifica stato e azione in uno spazio 3D condiviso sotto forma di flussi di punti 3D: dati lo stato attuale e il flusso di punti dell'azione, predice il flusso di punti dello stato futuro. PointWorld è addestrato su dati di manipolazione diversificati raccolti in ambienti reali non controllati e scala a oggetti e compiti nuovi.

Link

  • arXiv 2601.03782: https://arxiv.org/abs/2601.03782
  • DOI 10.48550/arXiv.2601.03782: https://doi.org/10.48550/arXiv.2601.03782
  • PDF: https://arxiv.org/pdf/2601.03782
  • Pagina del progetto: https://openreview.net/forum?id=65WDZ9Jw4B

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.