Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

RoboColosseum apre una rete di robot reali per valutare i modelli robotici, con Hugging Face tra i partner fondatori

  • Fonte: NUS and partners
  • Autore: Open Source Robotics
  • Pubblicato: 2026-11-04
  • Categoria: research

RoboColosseum, della National University of Singapore e partner, mette alla prova le policy robotiche su robot SO-101, Franka, YAM e Unitree G1 in abitazioni e uffici, e il suo primo studio rileva che le classifiche su un robot dicono poco su un altro. I laboratori accademici possono richiedere una valutazione gratuita; i dati di dimostrazione del Fine-tune Track sono aperti sull'Hugging Face Hub.

RoboColosseum è una rete di robot gestiti da operatori locali in abitazioni, uffici e laboratori reali, creata per testare le policy robotiche nello stesso modo in molti luoghi diversi. È stata presentata in un articolo scientifico il 2 novembre da ricercatori della National University of Singapore, della University of Washington, di Stanford, di Hugging Face e di altri enti, e Hugging Face ha annunciato il 4 novembre di esserne partner fondatore, insieme al MAGIC Lab della NUS, al Singapore Embodied AI Centre e a BitRobot.

Come funziona

Un laboratorio invia un modello e lo collega tramite la policy API di RoboColosseum, oppure fa eseguire il proprio checkpoint su una macchina accanto al robot. Gli operatori preparano ogni scena e gestiscono due percorsi:

- Open Track: due modelli anonimi tentano la stessa nuova istruzione nella stessa scena, e il valutatore sceglie l'esecuzione migliore o dichiara il pareggio. Le classifiche derivano da questi confronti a coppie alla cieca. - Fine-tune Track: ogni modello viene sottoposto a fine-tuning sulle stesse 100 dimostrazioni per ciascuno di 20 compiti, poi compie 25 tentativi per compito, valutati sia sui progressi parziali sia sul successo completo.

Il primo studio copre quattro robot: l'SO-101, un braccio Franka nella configurazione DROID, un YAM bimanuale e l'umanoide Unitree G1. Ha confrontato cinque policy vision-language-action, GR00T N1.7, π₀.₅, MolmoAct2, G0.5 e LingBot-VLA v2, con tre modelli di frontiera che guidano i robot tramite API: GPT-6 Astra, Claude Opus 5.5 e Grok 4.7.

Cosa ha rilevato il primo studio

- Su 5.699 confronti dell'Open Track in 124 sedi, i modelli di frontiera hanno rivaleggiato con le policy specializzate, ma nessun sistema ha completato in modo affidabile i compiti in mondo aperto. - Dopo il fine-tuning, GR00T N1.7 è risultato primo sull'SO-101 e π₀.₅ sul Franka e sul YAM bimanuale. - Le classifiche concordavano solo debolmente da un robot all'altro (W di Kendall di 0,24), e le classifiche dell'Open Track sono state una guida scarsa per i risultati dopo il fine-tuning, con inversioni sostanziali su tutti e tre i robot comuni ai due percorsi. - Sull'Unitree G1 nessuna policy ha completato alcuno dei suoi cinque compiti, eppure il progresso medio variava comunque dal 13,3% al 23,2%, una differenza che i soli tassi di successo nasconderebbero.

Gli autori si impegnano a offrire 10.000 ore di valutazione gratuita a laboratori accademici e partner, e il sito accetta le candidature. I dati di dimostrazione per i compiti del Fine-tune Track sono sull'Hub nell'organizzazione RoboColosseum, in formato LeRobot. L'annuncio di Hugging Face afferma che ogni rollout, fallimenti compresi, è aperto sull'Hub; al momento della stesura l'organizzazione contiene quei dataset di dimostrazione.

L'idea di valutare apertamente i modelli robotici su hardware reale non è nuova: Robocurve ha pubblicato valutazioni aperte su bracci YAM a settembre. Ciò che distingue RoboColosseum è la scala, con molte sedi operative in condizioni locali omogenee, e la sua constatazione che la posizione in classifica di una policy dipende fortemente dal robot su cui gira.

Perché è importante

Se scegliete una policy robotica da una classifica, questo studio suggerisce di verificare che la classifica sia stata misurata sul vostro robot: le classifiche si sono trasferite a malapena tra SO-101, Franka, YAM e G1, e quelle zero-shot non hanno previsto quelle dopo il fine-tuning. I laboratori accademici possono inoltre far testare i propri modelli su robot reali in luoghi diversi senza dover costruire da sé quella configurazione.

Punti chiave

  • RoboColosseum esegue policy robotiche su robot SO-101, Franka (DROID), YAM bimanuale e Unitree G1 gestiti localmente in molte sedi reali
  • Il suo primo studio ha condotto 5.699 confronti a coppie alla cieca in 124 sedi, più un percorso di fine-tuning su 20 compiti con 100 dimostrazioni ciascuno
  • Le classifiche delle policy concordavano solo debolmente tra robot diversi, e quelle zero-shot non hanno previsto le classifiche dopo il fine-tuning
  • I modelli di frontiera (GPT-6 Astra, Claude Opus 5.5, Grok 4.7) hanno rivaleggiato con le policy VLA specializzate, ma nessun sistema è stato affidabile nei compiti in mondo aperto
  • Ai laboratori accademici sono promesse 10.000 ore di valutazione gratuita; i dati di dimostrazione per il fine-tuning sono sull'Hugging Face Hub

Il lato open source

I dataset di dimostrazione per il fine-tuning sono pubblicati sull'Hugging Face Hub in formato LeRobot (sotto Apache-2.0 dove è indicata una licenza). La valutazione in sé è un servizio gestito da operatori, non software open source; i suoi repository del client e del policy server non hanno ancora una licenza.

Progetti correlati

  • SO-101 Open Robot Arm
  • DROID
  • NVIDIA Isaac GR00T
  • OpenPI
  • MolmoAct2
  • GalaxeaVLA
  • LingBot-VLA
  • LeRobot

Link

  • Fonte: https://arxiv.org/abs/2611.02497

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.