FineART

Dataset robotico bimanuale con ogni passo di 1.718 ore etichettato in linguaggio naturale

Licenza

dataset: CC BY 4.0
training code (in LeRobot): Apache 2.0

Licenza suddivisa. Il dataset FineART è CC BY 4.0. I pesi del modello FineART-VLA sono soggetti alla licenza Gemma, con i Gemma Terms of Use di Google e le relative restrizioni d'uso, ereditati da PaliGemma e π₀.₅. Il codice di addestramento in LeRobot è Apache-2.0. Verificato il 2026-10-29.

Panoramica

FineART è un dataset aperto di manipolazione bimanuale rilasciato da Scale AI e dal team LeRobot di Hugging Face il 29 ottobre 2026. Contiene 40.543 episodi teleoperati, 1.718 ore su 151 compiti, tutti registrati su una Trossen Stationary AI, una postazione a due bracci nello stile di ALOHA. Ciò che lo distingue è l'etichettatura: ogni episodio è suddiviso in brevi passi, ciascuno con una descrizione scritta da una persona, 533.913 in totale, così un modello può imparare non solo il compito ma anche l'ordine dei passi che lo completano. Il dataset è su Hugging Face con licenza CC BY 4.0, nel formato proprio di LeRobot.

La release include anche FineART-VLA, un modello vision-language-action che prima prevede a parole il passo successivo e poi lo esegue. I suoi pesi sono su Hugging Face e il codice di addestramento fa parte di LeRobot. Entrambi sono descritti nell'articolo FineART: Fine-Grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation.

Ogni episodio è un tentativo completo di eseguire un compito, lungo in media circa 2,5 minuti, registrato da teleoperatori umani con una configurazione leader-follower. Lo stato e l'azione del robot sono 14 numeri (sette per braccio: cinque angoli dei giunti e due valori per la pinza ALOHA2), e quattro telecamere riprendono ogni episodio: una vista dall'alto, una vista bassa e una su ciascun polso, memorizzate come video 360 × 640 a 30 fps. In totale la release conta 185,5 milioni di frame nel formato dataset LeRobot v3.0, quindi si carica con LeRobotDataset o può essere trasmessa in streaming senza scaricare tutto.

Circa il 77% delle ore riguarda attività quotidiane di pick-and-place e smistamento; il restante 23% copre abilità ricche di contatti: piegatura e manipolazione di tessuti, uso di utensili, instradamento di cavi, allineamento cedevole e inserimento di precisione. Ogni episodio ha un riepilogo complessivo con note sulla qualità dell'esecuzione e sul successo, più etichette dei passi contigue e non sovrapposte con i tempi di inizio, circa 13 per episodio, come «Metti il portacandele nero di destra sulla mensola». Un team ha raccolto gli episodi, un secondo ha scritto le etichette senza l'aiuto di un modello linguistico e un terzo le ha verificate.

FineART-VLA parte da π₀.₅ di Physical Intelligence (openpi): un backbone vision-language Gemma da 2 miliardi di parametri con un encoder di immagini SigLIP e un action expert separato da 300 milioni di parametri che produce blocchi di azioni da 50 passi tramite flow matching. Un'unica policy svolge entrambi i compiti: prevede in linguaggio il passo successivo (System 2) e poi produce azioni continue per quel passo (System 1). La guida a FineART-VLA di LeRobot spiega come caricare il checkpoint, guidarlo passo per passo in linguaggio semplice ed eseguirne il fine-tuning sui propri dati etichettati per passi con lerobot-train; lerobot-annotate può aggiungere etichette dei passi a qualsiasi dataset LeRobot.

Perché è importante

La maggior parte dei dataset robotici aperti fornisce un'unica istruzione per episodio, quindi un modello non vede mai come si scompone un compito lungo. FineART etichetta ogni passo di ogni episodio, e in 3.400 esecuzioni di valutazione su robot reali gli autori mostrano che cosa si ottiene: il mid-training sulle etichette dei passi ha portato il successo in un compito con istruzioni spaziali dal 32% al 100% e, in un compito a lungo orizzonte mai visto con una persona che guida passo per passo, dal 16% al 76%. Su un robot diverso, i bracci YAM di I2RT, partire da FineART ha eguagliato il modello di riferimento con circa dieci volte meno dati di fine-tuning. Dati, pesi e codice di addestramento sono tutti aperti.

Il problema che risolve

Addestrare un robot a seguire istruzioni in più passi richiede dimostrazioni in cui ogni passo è nominato e temporizzato. Raccoglierle ed etichettarle a mano è lento e costoso, e i dataset bimanuali esistenti etichettano i passi solo per una parte delle loro ore. FineART fornisce 1.718 ore completamente etichettate su una piattaforma a due bracci molto diffusa, con gli strumenti in LeRobot per addestrarsi su di esse e per etichettare nuovi dati allo stesso modo.

Punti chiave

40.543 episodi teleoperati, 1.718 ore e 151 compiti su un robot bimanuale Trossen Stationary AI (in stile ALOHA)
533.913 etichette dei passi scritte da persone, con tempi di inizio, che coprono il 100% delle ore, circa 13 per episodio
Circa il 77% di pick-and-place e smistamento quotidiani, il 23% di lavoro ricco di contatti: tessuti, utensili, cavi, allineamento e inserimento
FineART-VLA, basato su π₀.₅, prevede in linguaggio il passo successivo e poi agisce; pesi e codice di addestramento LeRobot sono rilasciati
Nei test degli autori, l'addestramento con le etichette dei passi ha portato il successo con istruzioni spaziali dal 32% al 100% e ha ridotto di circa dieci volte i dati di fine-tuning per un nuovo robot

A chi si rivolge

Ricercatori di apprendimento robotico che addestrano policy vision-language-action su compiti lunghi e in più passi
Team con robot bimanuali in stile ALOHA che vogliono dati di preaddestramento e un checkpoint di partenza
Utenti di LeRobot che vogliono etichettare per passi i propri dataset e addestrare policy gerarchiche
Ricercatori che studiano la scomposizione dei compiti, il grounding linguistico e il trasferimento cross-embodiment

Limiti

Un solo embodiment: tutto è stato registrato su una Trossen Stationary AI, quindi altri robot richiedono un adattamento, come mostrano gli esperimenti con YAM
Il modello non ha la licenza del dataset: FineART-VLA mantiene la licenza Gemma e le restrizioni d'uso ereditate da PaliGemma e π₀.₅
I pesi occupano circa 9,35 GB e il repository Hugging Face del tokenizer di testo può richiedere l'accettazione dei termini di Google
Il mix di compiti è sbilanciato: circa il 77% delle ore è pick-and-place e smistamento, quindi la coda ricca di contatti richiede un campionamento ponderato per compito
I dati sul successo provengono dalle valutazioni degli autori stessi, sul loro hardware e con i loro protocolli