Transformer Transformer
Modello di diffusione che genera un robot per un movimento e poi lo controlla
Licenza
MIT
GitHub non riconosce alcuna licenza per questo repository (NOASSERTION) perché il file LICENSE è il testo MIT con delle eccezioni aggiunte. Verificato il 2026-09-10: il repository è MIT tranne quattro eccezioni che il file nomina esplicitamente. t2/model/core.py (derivato da DiT di Meta) e le funzioni ausiliarie per gli embedding posizionali in t2/model/utils.py (derivate da MAE di Meta) restano sotto le rispettive licenze originali Attribution-NonCommercial, quindi quei file non sono disponibili per l'uso commerciale. t2/mjx_env/ è Apache-2.0, ripreso da Brax e MuJoCo Playground, e le funzioni ausiliarie per le rotazioni in t2/train/augment.py sono BSD-3-Clause da PyTorch3D. Gli asset dei robot in assets/mjcf/ mantengono i propri file LICENSE per ciascuna cartella.
Panoramica
Transformer Transformer prende un movimento obiettivo dell'end effector e una ricompensa definita dall'utente e genera un robot completo per quel compito (ogni segmento, giunto, motore e proprietà inerziale), poi controlla quello stesso robot perché segua il movimento. Lavora su RoboToken, una tokenizzazione tipizzata degli embodiment, degli stati e delle azioni dei robot che lo stesso tokenizzatore produce per un braccio a 6 gradi di libertà o per un bipede a 35 gradi di libertà, così un'unica rete funge da generatore, critico e controller cross-embodiment. Il repository è lo stack completo dietro l'articolo: il tokenizzatore RoboToken, la generazione procedurale di robot su spazi di progetto parametrizzati, la generazione di dati con Mink e controller RL, addestramento e inferenza sia per il controllo sia per il co-design, baseline CMA-ES e le pipeline Blender dietro le visualizzazioni dell'articolo.
Il modello è un diffusion Transformer costruito su DiT con uno schema di rumore DDIM, addestrato su sequenze di RoboToken. Il rumore viene aggiunto a ogni token tranne quelli su cui si condiziona, e cambiando la maschera cambia il compito: si maschera tutto per un generatore di robot non condizionato, le azioni per un controller cross-embodiment, l'embodiment per un progettista condizionato dal movimento. Poiché la stessa rete prevede sia un progetto sia la sua dinamica, queste previsioni possono essere passate a qualsiasi funzione di ricompensa scritta dall'utente; la ricompensa è differenziabile rispetto ai token dell'embodiment, quindi il suo gradiente viene reiniettato nei passi di denoising. Gli autori chiamano questo meccanismo Dynamics Self-Guidance, ed è ciò che permette di ottimizzare una ricompensa mai vista al momento dell'inferenza invece di riaddestrare il modello.
Ciò che viene distribuito è più del modello. Dieci esecuzioni preaddestrate su tre spazi di progetto (lo spazio cinematico ViperX, un quadrupede con braccio robotico e uno spazio bimanuale su ruote costruito attorno al lavaggio dei piatti) sono ospitate su real.stanford.edu insieme ai dati delle traiettorie di movimento e a un file SHA256SUMS, e ogni cartella di esecuzione conserva la configurazione di addestramento accanto ai pesi. L'installazione è gestita con uv su Python 3.12, e il controllo di installazione fa passare avanti e indietro attraverso il tokenizzatore, su CPU, centinaia di robot casuali e modelli di MuJoCo Menagerie prima che venga scaricato qualsiasi cosa. In pratica richiede Ubuntu e un driver NVIDIA recente; su macOS si ottengono wheel solo CPU, sufficienti per lo smoke test e niente di più.
Perché è importante
Il co-design dei robot è stato in gran parte un problema di ricerca evolutiva: proporre un corpo, farlo passare in un simulatore, tenere ciò che ottiene un buon punteggio, ripetere per ore per ogni funzione di ricompensa. Impostarlo come generazione condizionata riduce tutto questo a pochi secondi e fa di una nuova ricompensa un argomento al momento dell'inferenza anziché una nuova esecuzione di ottimizzazione. Il rilascio conta quanto l'idea: pesi, dati e il risultato della fabbricazione sono tutti pubblicati, quindi l'affermazione che un corpo generato batte uno progettato a mano è verificabile anziché soltanto asserita.
Il problema che risolve
Una policy può essere valida solo quanto il corpo su cui gira, e scegliere quel corpo ha significato iterazioni manuali o una ricerca a scatola nera che richiede ore di simulazione per ogni nuova ricompensa. Transformer Transformer rende il corpo qualcosa che si genera a partire dal movimento desiderato, e poi valida il progetto con la stessa rete che lo ha prodotto.
Punti chiave
- I RoboToken trasformano qualsiasi robot articolato rigido in 28–101 token tipizzati, 27–110× più compatti dell'equivalente testo MJCF, ed è questo che rende trattabile la diffusione di un intero robot
- Un'unica rete svolge tre ruoli cambiando quali token sono mascherati: generatore di robot non condizionato, controller cross-embodiment e progettista condizionato dal movimento
- La Dynamics Self-Guidance differenzia le previsioni di dinamica del modello stesso attraverso una ricompensa fornita dall'utente, così ricompense mai viste in addestramento vengono ottimizzate al momento dell'inferenza
- Dieci esecuzioni preaddestrate su tre spazi di progetto sono distribuite con la configurazione di addestramento che ha prodotto ciascuna, più i dati delle traiettorie di movimento e i checksum
- Una riprogettazione generata di ALOHA 2 per lanciare tessuti è stata fabbricata e ha ridotto l'errore di inseguimento del 73% e la velocità massima dei giunti del 30% rispetto ai bracci originali
- Nell'ottimizzazione bimanuale su più traiettorie la baseline CMA-ES ha impiegato oltre tre ore; il modello ha raggiunto una ricompensa paragonabile in meno di un minuto
A chi si rivolge
- Ricercatori di co-design dei robot e di ottimizzazione morfologica
- Ricercatori di controllo cross-embodiment e di diffusion policy
- Utenti di MuJoCo e MJX che costruiscono spazi di progetto procedurali per robot
- Team hardware che valutano la geometria e il montaggio di un braccio prima di impegnarsi nella fabbricazione
Limiti
- I RoboToken coprono solo geometrie basate su primitive: niente mesh arbitrarie né corpi deformabili, e nulla codifica la scena circostante o i bersagli di contatto
- Il controller cross-embodiment è correlato con l'oracolo RL con un r di Pearson = 0,53 sugli embodiment generati per diffusione, quindi un progetto generato deve comunque essere validato in simulazione
- Il calcolo al momento del test smette di dare benefici dopo circa un minuto di campionamento; più inferenza non continua a migliorare il progetto
- Generare i dati di addestramento del controller del corpo intero è costoso: un esperto RL per ogni scelta di progetto discreta, circa 16 ore di tempo A100 per policy
- Non è interamente MIT: il file della backbone derivato da DiT e le funzioni ausiliarie per gli embedding posizionali derivate da MAE restano sotto condizioni Attribution-NonCommercial, il che esclude l'uso commerciale di quei file
- In pratica Linux con un driver NVIDIA recente; su macOS uv ottiene wheel solo CPU che eseguono lo smoke test del tokenizzatore ma non la valutazione né l'addestramento
- Ogni script registra i log su Weights & Biases a meno che WANDB_MODE=offline non sia impostato esplicitamente