Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Grounded Action Model (GAM)

Una policy di manipolazione che vede gli oggetti del compito come riquadri 3D, non l'intera immagine

Licenza

MIT

La licenza MIT copre il codice di GAM. Eccezioni: codice di SAM 3 e WildDet3D e tutti i pesi rilasciati: SAM License (Meta), nessun uso militare, per armi, nucleare, di spionaggio o soggetto a controlli commerciali. CoTracker (tracciamento dei punti): CC BY-NC 4.0, non commerciale. LingBot-Depth: Apache-2.0. Verificato il 2026-10-14.

Panoramica

Grounded Action Model (GAM) è una policy di manipolazione della Northwestern University, della University of Washington e della National University of Singapore che stabilisce di quali oggetti si occupa un compito, e dove si trovano in 3D, prima di prevedere qualsiasi azione (arXiv 2609.23863). Un'istruzione testuale, un punto cliccato o un riquadro 2D selezionano prima gli oggetti del compito. Un rilevatore 3D congelato, WildDet3D su un backbone SAM 3, fornisce poi a ciascuno un riquadro 3D metrico, una nuvola di punti e le proprie caratteristiche dell'immagine. Un Transformer con flow matching prevede blocchi di azioni a partire da quegli oggetti, dalla silhouette renderizzata del robot e dalla sua propriocezione, così la policy ragiona sulle poche cose che contano anziché sull'intera immagine. Il repository lo addestra e lo valuta su LIBERO-PRO e RoboTwin 2.0, e su qualsiasi dataset LeRobot a partire dalle sole stringhe dei compiti. Checkpoint e cache di addestramento sono su Hugging Face. Il codice di GAM è MIT; il rilevatore da cui dipende no.

GAM è una base di codice di addestramento e valutazione per un tipo di policy di manipolazione, più i checkpoint che riproducono i suoi numeri sui benchmark. Ogni osservazione segue lo stesso percorso. Un prompt indica gli oggetti del compito: nomi di oggetti dalla stringa del compito, un punto seguito lungo l'episodio o un riquadro. Il rilevatore congelato WildDet3D restituisce, per ogni oggetto, un riquadro 2D, un riquadro 3D metrico, una nuvola di punti e le caratteristiche dell'immagine all'interno della sua maschera. La policy, un Transformer con flow matching, legge quegli slot degli oggetti insieme alla cronologia dei giunti del robot e a una silhouette renderizzata dal suo URDF, e produce un blocco di obiettivi per i giunti.

Ci sono tre modi per addestrare. Si può eseguire il rilevatore una volta su ogni fotogramma e salvarne l'output, dopodiché l'addestramento sta su una singola GPU da 24 GB. Si può partire dalle cache rilasciate, da 1 a 6 GB per compito RoboTwin e 11 GB per LIBERO-PRO. Oppure si può addestrare end-to-end con il rilevatore nel ciclo, che non salva nulla ma costa un passaggio del rilevatore per campione. Gli script di valutazione riproducono entrambe le tabelle dei benchmark, e un runner universale valuta qualsiasi checkpoint su episodi registrati o sul proprio ambiente tramite una piccola classe adattatore.

Per il proprio robot, la strada LeRobot non richiede etichettatura: la stringa del compito viene trasformata in frasi che descrivono gli oggetti, gli oggetti vengono trovati nel primo fotogramma e seguiti con CoTracker, e quelle tracce fanno da prompt al rilevatore. Due modelli coprono una configurazione bimanuale a 14 giunti e un Franka a braccio singolo. La calibrazione della telecamera è obbligatoria, perché il metodo proietta nell'immagine la geometria 3D e il contorno del robot, e i dataset LeRobot non memorizzano la calibrazione.

Ciò che è rilasciato: il codice MIT, il rilevatore generale e la testa span che legge le stringhe dei compiti, la policy LIBERO-PRO con il suo rilevatore ottimizzato e i checkpoint RoboTwin, che secondo il README sono ancora in fase di rilascio compito per compito. Ciò che non lo è: le policy degli esperimenti su robot reale dell'articolo, su un YAM bimanuale e su un Franka, e qualsiasi driver per hardware reale oltre all'adattatore che si scrive da sé. L'articolo riporta un successo medio del 55,3% su 50 compiti RoboTwin 2.0, del 61% su 16 impostazioni di perturbazione di LIBERO-PRO e 17 successi su 20 sul YAM con variazione visiva, dove la baseline π0.5 ne ha ottenuti 4.

Perché è importante

La maggior parte delle policy di manipolazione, compresi i modelli Vision-Language-Action (VLA), prende l'intera immagine della telecamera e deve imparare dalle dimostrazioni quali oggetti contano e dove si trovano. È proprio questo che si rompe quando una scena cambia: una nuova tovaglia, un'illuminazione diversa, più disordine o un obiettivo spostato in un nuovo punto. GAM affida questo compito a un rilevatore 3D preaddestrato e addestra la policy solo sugli oggetti che esso individua, così la policy ha meno da memorizzare. Le prove sono nelle impostazioni con variazioni più che in quelle pulite: il suo successo regge molto meglio di quello delle baseline con la randomizzazione della scena e la variazione visiva. Poiché gli oggetti si possono scegliere con un clic o un riquadro oltre che con le parole, funziona anche come controller di basso livello sotto un pianificatore, che sceglie gli obiettivi e lascia che la stessa policy esegua ogni sotto-compito.

Il problema che risolve

Le policy di manipolazione apprese per imitazione tendono a sovradattarsi alla scena in cui sono state addestrate, perché nulla dice loro quali pixel appartengono al compito. Falliscono quando cambiano lo sfondo, l'illuminazione o gli oggetti, quando l'obiettivo si sposta o quando l'istruzione nomina un oggetto diverso nella stessa scena. GAM affronta il problema dando alla policy, al posto dell'immagine grezza, una descrizione metrica e centrata sugli oggetti dei soli oggetti del compito, prodotta da un rilevatore 3D congelato a vocabolario aperto.

Punti chiave

  • La policy non vede mai l'intera immagine: un rilevatore 3D congelato trasforma ogni oggetto del compito in un riquadro 3D, una nuvola di punti e caratteristiche dell'immagine mascherate, e un Transformer con flow matching prevede le azioni a partire da questi
  • Gli oggetti si possono indicare con testo, un punto cliccato o un riquadro 2D, così una persona o un pianificatore di livello superiore può decidere su quale oggetto agisce la stessa policy
  • Si addestra su qualsiasi dataset LeRobot a partire dalle sole stringhe dei compiti, senza etichettatura manuale, una volta calibrata la telecamera
  • Precalcolare l'output del rilevatore consente di addestrare su una GPU da 24 GB; l'addestramento end-to-end mantiene il rilevatore nel ciclo e non salva nulla
  • L'articolo riporta il 55,3% su 50 compiti RoboTwin 2.0 e il 61% su 16 impostazioni LIBERO-PRO, con i guadagni maggiori dove le scene sono randomizzate o gli obiettivi spostati
  • Il codice di GAM è MIT, ma il rilevatore WildDet3D e tutti i pesi rilasciati sono soggetti alla SAM License di Meta, e la dipendenza CoTracker è non commerciale

A chi si rivolge

  • Ricercatori che studiano come generalizzano le policy di manipolazione
  • Team con dataset LeRobot che vogliono una policy che tolleri i cambiamenti di scena
  • Ricercatori che costruiscono sistemi pianificatore più controller e hanno bisogno di una policy guidabile tramite punti o riquadri
  • Chiunque faccia benchmark su LIBERO-PRO o RoboTwin 2.0

Limiti

  • Il rilevatore e ogni peso rilasciato sono soggetti alla SAM License, non a una licenza open source, e CoTracker, usato per il tracciamento dei punti, è CC BY-NC 4.0, quindi l'uso commerciale va verificato
  • Le policy degli esperimenti su robot reale dell'articolo (YAM bimanuale e Franka) non sono rilasciate, e i checkpoint RoboTwin stanno ancora arrivando compito per compito
  • Nessun driver per hardware reale: farlo funzionare su un robot significa scrivere il proprio adattatore per l'ambiente ed eseguire la calibrazione mano-occhio
  • Il rilevatore generale non è ottimizzato per nessuna scena e potrebbe richiedere un fine-tuning su un nuovo robot, una nuova telecamera o un nuovo insieme di oggetti; le registrazioni a bassa risoluzione come 256 x 256 perdono gli oggetti piccoli
  • Sono richiesti Linux, CUDA 12.6 o successivo e una GPU; il solo checkpoint completo del rilevatore pesa 4,7 GB
  • Un repository giovane: pubblico dalla fine di settembre 2026, con di fatto un solo manutentore

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.