MINT
Trasforma normali video egocentrici in movimenti delle mani e della telecamera nello spazio del mondo
Licenza
MIT
La licenza MIT copre il codice, i pesi e le annotazioni rilasciate. Verificato il 2026-09-16: i video sorgente descritti dalle 1.021 ore di annotazioni non sono ridistribuiti; il README afferma che i video sorgente e le risorse con licenza separata vanno ottenuti alle loro condizioni di accesso, quindi il corpus è utilizzabile solo se si dispone già delle riprese che indicizza.
Panoramica
MINT prende normali video RGB egocentrici e prevede, con un unico modello, come si è mossa la telecamera e dove si trovavano entrambe le mani (posizione, orientamento e movimento), per poi comporre questi dati in un output nello spazio del mondo. La via consueta per ottenere questi dati è una pipeline: calibrazione, profondità monoculare, SLAM, ricostruzione delle mani e pulizia delle traiettorie, ciascuna un modello separato con la propria licenza e il proprio errore da propagare. In inferenza MINT sostituisce tutto questo con un'unica rappresentazione spazio-temporale che alimenta quattro teste (parametri estrinseci della telecamera, campo visivo, MANO nel sistema della telecamera e presenza delle mani per frame) e con una composizione rigida esplicita che non richiede mappe di profondità né nuvole di punti. La release include pesi, codice di addestramento e di inferenza, un visualizzatore web e annotazioni strutturate che coprono 1.021 ore di riprese egocentriche.
La mossa interessante è dove è finita la pipeline, più che il fatto che sia stata eliminata. EgoPipeline, lo stack convenzionale, è ancora usata, ma offline, per generare la supervisione strutturata su telecamera e mani; MINT impara poi da quelle etichette. Gli autori dichiarano esplicitamente che questa supervisione è una pseudo-etichetta e non un ground truth, e il README mostra i frame di confronto in cui la pipeline convenzionale colloca entrambe le mani lontano da quelle reali, mentre MINT le mantiene al loro posto. L'affermazione è quindi di ammortamento: il costoso stack multimodello viene eseguito una volta su un corpus, e da quel momento un nuovo video richiede un solo forward pass.
In pratica, inferenza e ispezione passano da un visualizzatore web su una GPU NVIDIA con almeno 24 GB di VRAM, e i video lunghi vengono elaborati a finestre, con le traiettorie della telecamera unite tra una finestra e l'altra. I pesi sono pubblicati sia su Hugging Face sia su ModelScope come mint_v1, e il corpus di annotazioni è pubblicato allo stesso modo: annotazioni strutturate, non video, su 1.021 ore, più codice di riferimento per l'orchestrazione, la pulizia e l'esportazione di EgoPipeline. La pagina del progetto mostra le previsioni con retargeting su una mano Wuji in MuJoCo, ed è questo il collegamento tra il video umano e un robot: il motivo per cui in robotica interessa la ricostruzione egocentrica delle mani è che si tratta della fonte più economica disponibile di dimostrazioni di manipolazione.
Perché è importante
Chiunque addestri policy di manipolazione vuole usare i video umani come fonte di dati, e l'ostacolo è che le riprese grezze non contengono il movimento delle mani o della telecamera nello spazio del mondo. Ottenerlo ha significato assemblare cinque modelli e accettare la licenza e il margine d'errore di ciascuno. Un unico modello con licenza MIT e pesi aperti che lo fa in un solo passaggio cambia il costo di questa fase, e pubblicare insieme 1.021 ore di annotazioni strutturate significa che l'output è verificabile e non solo dichiarato.
Il problema che risolve
Il video egocentrico umano è la fonte ampia più economica di dimostrazioni di manipolazione e la più difficile da usare, perché nulla nelle riprese grezze dice dove si trovavano le mani nello spazio. MINT produce questa informazione direttamente dall'RGB, così costruire un corpus di dimostrazioni non richiede più una pipeline multimodello su misura per ogni progetto.
Punti chiave
- In inferenza un unico modello sostituisce una pipeline a cinque fasi: parametri estrinseci della telecamera, campo visivo, MANO nel sistema della telecamera e presenza delle mani per frame da una rappresentazione spazio-temporale condivisa
- Il movimento delle mani nello spazio del mondo deriva da una composizione rigida esplicita, quindi in inferenza non servono mappe di profondità né nuvole di punti
- Sono pubblicate 1.021 ore di annotazioni egocentriche strutturate, insieme ai pesi, sia su Hugging Face sia su ModelScope
- EgoPipeline esiste ancora, ma viene eseguita offline per generare la supervisione: gli autori definiscono il suo output una pseudo-etichetta, non un ground truth, e mostrano dove colloca le mani nel posto sbagliato
- I video lunghi sono gestiti a finestre, con le traiettorie della telecamera unite oltre i confini tra le finestre
- La pagina del progetto mostra le previsioni con retargeting su una mano Wuji in MuJoCo, il percorso dal video umano a una policy robotica
A chi si rivolge
- Team che costruiscono dataset di manipolazione da video umani invece che dalla teleoperazione
- Ricercatori di visione egocentrica e ricostruzione delle mani
- Chiunque faccia retargeting del movimento delle mani umane su una mano robotica in simulazione
- Gruppi che necessitano di etichette di movimento nello spazio del mondo ma non possono permettersi hardware di acquisizione strumentato
Limiti
- L'inferenza richiede una GPU NVIDIA con almeno 24 GB di VRAM, il che esclude la maggior parte dei portatili
- Secondo la descrizione degli stessi autori la supervisione è una pseudo-etichetta: MINT è addestrato sull'output di una pipeline, quindi il suo limite massimo dipende da quanto quella pipeline fosse buona sul corpus di addestramento
- Le 1.021 ore sono solo annotazioni; i video sorgente non sono ridistribuiti e vanno ottenuti alle loro condizioni, quindi il corpus è utilizzabile solo se si dispone già delle riprese
- Due mani e una telecamera sono l'intero output: niente oggetti, niente geometria della scena, niente contatti
- I video lunghi sono ricomposti a partire da finestre, quindi la deriva delle traiettorie oltre i confini è una proprietà del metodo e non un dettaglio di implementazione
- L'articolo (arXiv 2609.04958) è un preprint ancora senza sede di pubblicazione