Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Robocurve pubblica una valutazione aperta dei modelli di frontiera alla guida di bracci robotici reali

  • Fonte: Robocurve
  • Autore: Open Source Robotics
  • Pubblicato: 2026-09-04
  • Categoria: research

Un gruppo indipendente ha messo alla prova GPT-6 Astra e Claude Fable 5.1 sugli stessi due compiti di manipolazione, con gli stessi bracci e lo stesso harness, e ha pubblicato tutte le 120 prove con video, tracce e valutazioni per singola prova. Astra ha messo un blocchetto in una ciotola 19 volte su 20, contro le 8 di Fable 5.1; entrambi si sono fermati a 2 su 20 nell'inserimento di un pezzo di puzzle.

Robocurve, un gruppo che si descrive come impegnato a misurare e riferire al pubblico le capacità di frontiera della robotica, ha pubblicato una valutazione di GPT-6 Astra di OpenAI alla guida di una coppia di bracci I2RT YAM, e ha rilasciato ogni prova su cui si basa.

La configurazione è volutamente poco spettacolare. Due compiti, formulati al modello in linguaggio semplice: mettere un blocco rosso in una ciotola e inserire un pezzo di puzzle blu rotondo, tenendolo per il pomello centrale, nella scanalatura circolare corrispondente. Gli stessi bracci, la stessa policy dell'agente sotto il framework Inspect Robots e gli stessi criteri di valutazione usati dal gruppo nel suo confronto precedente tra Claude Fable 5 e Fable 5.1, così i numeri si possono confrontare con quel rapporto invece di essere isolati.

Nel compito della ciotola Astra ha posizionato il blocco in 19 prove su 20, contro 8 su 20 per Fable 5.1 e 1 su 20 per Fable 5, impiegando circa 2,5 minuti per prova contro i 6.8 di Fable 5.1, a un costo stimato di $0,94 per esecuzione contro $2,12 a prezzi di listino. Nell'inserimento del puzzle entrambi i modelli hanno completato 2 prove su 20. Astra raggiunge la scanalatura e si blocca allo stesso passaggio finale in cui si blocca Fable, per $1,36 per esecuzione contro $2.18.

È questo secondo risultato quello su cui vale la pena riflettere. Un modello che ha praticamente risolto il pick-and-place con 19 su 20 resta fermo a 2 su 20 appena il compito richiede di inserire un pezzo entro una tolleranza, e fallisce nello stesso punto di un modello che per il resto supera di un fattore due. Ciò che manca non è la competenza generale.

È il sistema di valutazione a rendere il rapporto verificabile. Ogni prova è stata valutata da una persona in base alla fase più avanzata raggiunta, nessun avvicinamento mirato, contatto, sollevamento dal tavolo, posizionamento sopra il punto di deposito, deposito, così anche un'esecuzione fallita registra fin dove è arrivata, e la distribuzione resta visibile invece di essere ridotta a un tasso di successo. Tutte le 120 prove sono pubblicate singolarmente con la fase raggiunta, il tempo trascorso e il numero di token, e ciascuna si può consultare, guardare e scaricare.

Il framework è open source. Inspect Robots è sotto licenza MIT e si descrive come Inspect AI per la robotica: si definisce un benchmark una volta, poi si esegue qualsiasi policy, un agente LLM o un VLA, su qualsiasi embodiment compatibile, braccio reale, umanoide o simulatore, con log verificabili e visualizzazione in Rerun. È dichiaratamente in fase alpha e chiede di fissare una versione.

Due avvertenze che il rapporto non nasconde e che non dovremmo nascondere nemmeno noi. I costi sono stime a prezzi di listino, che cambiano. E due compiti su una sola coppia di bracci sono una finestra ristretta su entrambi i modelli: il gruppo stesso lo presenta come un seguito di una serie, non come un verdetto.

Perché è importante

Le affermazioni sui modelli di frontiera che controllano robot arrivano quasi sempre sotto forma di video dimostrativo selezionato ad arte. Questa arriva come 120 prove valutate, ciascuna con video, trascrizione e costo, eseguite con un harness che chiunque può installare. È la differenza tra un prodotto di marketing e una misura, e fissa uno standard a cui si potrà tenere la prossima affermazione del genere.

Punti chiave

  • GPT-6 Astra ha messo il blocchetto nella ciotola in 19 prove su 20 contro le 8 su 20 di Fable 5.1, a circa metà del costo e in un terzo del tempo per esecuzione
  • Nell'inserimento del pezzo di puzzle entrambi i modelli si sono fermati a 2 su 20 bloccandosi nello stesso passaggio finale, quindi il divario su un compito dice poco sull'altro
  • Tutte le 120 prove sono pubblicate singolarmente con valutazioni umane fase per fase, tempo trascorso, numero di token e video scaricabile
  • La valutazione usa una griglia da 0 a 4 che registra fin dove è arrivata un'esecuzione fallita, così i fallimenti restano visibili invece di ridursi a un tasso di successo
  • L'harness, Inspect Robots, ha licenza MIT ed è aperto: la valutazione si può rieseguire invece di prenderla sulla fiducia
  • I costi sono stime ai prezzi di listino, e due compiti su una sola coppia di bracci sono una finestra ristretta

Il lato open source

La vera notizia open source è l'harness. Inspect Robots ha licenza MIT, supporta pienamente i bracci SO-100 e SO-101 riutilizzando la calibrazione di LeRobot ed è costruito in modo che un benchmark definito una volta giri su un braccio reale, un umanoide o un simulatore. Chiunque abbia un braccio a basso costo può rieseguire lo schema di questa valutazione sul proprio hardware e con il proprio modello, ed è questo che rende il risultato contestabile invece che qualcosa da prendere sulla fiducia.

Tecnologie correlate

  • Inspect Robots
  • I2RT YAM arms
  • Rerun
  • LeRobot

Link

  • Fonte: https://openai.robocurve.org/gpt-6-astra/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.