Armory
Fornisce una policy robotica a un'intera flotta da una sola GPU nel cloud
Licenza
Apache-2.0
Panoramica
Armory è un sistema di serving end-to-end per eseguire una policy robotica su una GPU remota e fornirla a molti robot contemporaneamente. Mantiene sul server una copia speculare della coda di azioni di ogni robot, dei chunk in transito, dell'orizzonte di esecuzione e del ritardo di comunicazione, e usa questa copia per decidere quali robot raggruppare nel batch successivo, pianificando in base al tempo del robot anziché al tempo delle richieste. Il repository contiene il motore di serving, gli scheduler, un pacchetto client leggero per ogni robot, gli adattatori per le policy OpenPI e NVIDIA Isaac GR00T, e l'infrastruttura di valutazione LIBERO, le metriche e i grafici usati nell'articolo, con punti di ingresso per Modal, l'esecuzione locale e Slurm.
Il problema che Armory individua è la starvation: un robot che non ha più azioni valide semplicemente si ferma, e quanto questo costi dipende interamente dal compito. Gli autori variano l'orizzonte di esecuzione e il tasso di starvation su un singolo robot e mostrano che un compito dinamico di smistamento su piattaforma girevole crolla, mentre un compito statico di smistamento di mattoncini peggiora in modo graduale: uno scheduler che tratta tutti i robot allo stesso modo serve male proprio i robot che hanno bisogno di azioni fresche. Il round-robin è equo ma cieco all'urgenza; earliest-deadline-first coglie la starvation imminente ma tratta ogni evento di starvation come ugualmente costoso. Lookahead enumera le pianificazioni candidate, fa avanzare ciascuna attraverso la copia speculare sul server e invia il batch con la migliore ricompensa prevista normalizzata per il tempo di inferenza, con un peso opzionale per robot che permette a un operatore di proteggere un gruppo sensibile alla latenza.
La valutazione si svolge in due contesti: LIBERO-10 in simulazione, e una flotta di dieci bracci AgileX PiPER serviti da un checkpoint π0.5 sottoposto a fine-tuning da una sola GPU L40S. Il risultato principale è un guadagno di circa il 18% nel throughput complessivo nel mondo reale rispetto a earliest-deadline-first nello scenario one-fast. Per eseguirlo servono Python 3.11, uv e tre submodule fissati a una versione; un percorso con GPU si mette in funzione tramite Modal o un server ospitato in proprio, e un backend di policy fittizio esercita l'intero protocollo server-client senza alcuna GPU, il che rende il comportamento dello scheduling riproducibile su un laptop.
Perché è importante
Le policy servite dal cloud sono il modo in cui la maggior parte delle flotte eseguirà i modelli di frontiera: il calcolo a bordo non può ospitare un VLA e il checkpoint è costoso da replicare per ogni robot. Eppure tra "un robot, una GPU" e uno stack di serving proprietario non c'è quasi nulla di aperto. Armory è un'implementazione di riferimento leggibile, con l'infrastruttura di valutazione inclusa, e dà un nome a un modo di guasto che il batching generico in stile LLM nasconde: il robot che ha bisogno di azioni più spesso è proprio quello che uno scheduler guidato dalle scadenze lascia senza.
Il problema che risolve
I modelli Vision-Language-Action sono troppo pesanti per il calcolo a bordo del robot, quindi la policy si sposta su una GPU remota, e un server di batching pensato per il throughput delle chat lascia poi senza azioni proprio i robot i cui compiti hanno più bisogno di azioni fresche. Armory pianifica in base al tempo del robot anziché al tempo delle richieste, così il batch che forma è quello che mantiene in movimento il maggior numero di robot.
Punti chiave
- Fornisce una policy a molti robot da una GPU remota, formando i batch in base a una copia speculare sul server della coda di azioni, dei chunk in transito, dell'orizzonte di esecuzione e del ritardo di rete di ogni robot
- Lo scheduling lookahead fa avanzare i batch candidati e li valuta in base alla ricompensa prevista per unità di tempo di inferenza, aumentando il throughput complessivo nel mondo reale fino al 18% rispetto a earliest-deadline-first
- Validato su dieci bracci AgileX PiPER serviti da un checkpoint π0.5 sottoposto a fine-tuning da una sola GPU L40S, e in simulazione su LIBERO-10
- Fornisce adattatori di backend per OpenPI e NVIDIA Isaac GR00T, più un pacchetto client leggero pensato per girare su ogni robot
- Un backend di policy fittizio esegue l'intero protocollo server e client senza GPU, così il comportamento dello scheduling si può riprodurre su un laptop
- La misura che motiva il lavoro è che il costo della starvation dipende dal compito: la manipolazione dinamica crolla con chunk non aggiornati, mentre la manipolazione quasi statica li tollera
- Sono forniti punti di ingresso per Modal, l'esecuzione locale e Slurm, insieme agli script di sweep e di grafica alla base delle figure dell'articolo
A chi si rivolge
- Team che mettono in funzione policy VLA su più di un robot da risorse di calcolo condivise
- Ingegneri di infrastrutture per flotte di robot e cloud robotics
- Ricercatori di sistemi di ML e scheduling che lavorano sul serving dell'inferenza ad anello chiuso
- Utenti di LIBERO e OpenPI che misurano il throughput delle policy
Limiti
- La valutazione copre LIBERO-10 in simulazione e una sola flotta reale di dieci bracci AgileX PiPER; non ci sono ancora prove per altri robot, altre policy o flotte più grandi
- I guadagni derivano dall'eterogeneità: su una flotta omogenea round-robin ed earliest-deadline-first hanno prestazioni comparabili, e l'articolo lo dice chiaramente
- Il peso per robot è una leva dell'operatore, non un vantaggio gratuito: nello scenario half-fast, dare peso al gruppo veloce sposta throughput lontano dal gruppo lento
- I tre submodule in third_party puntano a fork personali di LIBERO, OpenPI e Isaac-GR00T anziché ai progetti originali, quindi le dipendenze fissate poggiano su account individuali
- Servire una policy reale richiede una GPU e il checkpoint corrispondente; il backend fittizio riproduce il protocollo e lo scheduling, non la policy
- Nessuna immagine container pubblicata né tag di rilascio: il deployment avviene da un checkout git con i submodule inizializzati, su Python 3.11 con uv