Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Robocurve 公開評估前沿模型操控真實機器手臂

  • 來源: Robocurve
  • 作者: Open Source Robotics
  • 發布日期: 2026-09-04
  • 類別: research

一個獨立團隊以相同的手臂與測試框架,讓 GPT-6 Astra 與 Claude Fable 5.1 執行相同的兩項操作任務,並公開全部 120 次試驗的影片、執行紀錄與逐次評分。Astra 在 20 次中有 19 次把方塊放進碗裡,Fable 5.1 則為 8 次;在拼圖插入任務上,兩者都只成功 20 次中的 2 次。

Robocurve 是一個自稱向大眾量測並報告前沿機器人能力的團體,它發表了一份評估,測試 OpenAI 的 GPT-6 Astra 操控一對 I2RT YAM 手臂的表現,並公開了背後的每一次試驗。

這個設定刻意樸實無華。兩項任務,以淺白的語言告訴模型:把紅色方塊放進碗裡,以及抓住圓形藍色拼圖片中央的把手,將它插入相符的圓形凹槽中。使用的是相同的手臂、在 Inspect Robots 測試框架下相同的代理策略,以及該團體在先前比較 Claude Fable 5 與 Fable 5.1 時所用的相同評分標準,因此這些數字可以與那份報告對照,而不是孤立存在。

在碗的任務中,Astra 在 20 次試驗中有 19 次成功放入方塊,Fable 5.1 為 20 次中 8 次,Fable 5 為 20 次中 1 次;Astra 每次試驗約花 2.5 分鐘,Fable 5.1 則花 6.8 分鐘,以定價估算每次執行成本約 $0.94,對比 $2.12。在拼圖插入任務中,兩個模型都只完成了 20 次中的 2 次。Astra 能到達凹槽,卻卡在與 Fable 相同的最後一步,每次執行成本為 $1.36,對比 $2.18。

第二個結果才是值得細細思考的。一個在取放任務上以 20 次中 19 次幾乎完全解決問題的模型,一旦任務需要將零件按公差裝入定位,就卡在 20 次中 2 次,而且失敗的地方與一個在其他方面被它以兩倍差距超越的模型相同。缺少的東西並不是一般能力。

評分方式讓這份報告可以被查證。每次試驗都由人依其達到的最高階段評分——沒有目的性接近、接觸、從桌面舉起、定位到放置點上方、放置——因此失敗的執行仍會記錄它進行到哪一步,分布情況一目了然,而不是被壓縮成單一成功率。全部 120 次試驗都逐一公開,附有階段、經過時間與 token 數,每一次都可檢視、觀看與下載。

測試框架是開源的。Inspect Robots 採用 MIT 授權,自稱是機器人版的 Inspect AI:只需定義一次基準測試,就能讓任何策略——LLM 代理或 VLA——在任何相容的機器人形態上執行,無論是真實手臂、人形機器人或模擬器,並提供可稽核的記錄與 Rerun 視覺化。它明確標示為 alpha 版,並要求你固定版本。

報告沒有隱瞞兩項但書,我們也不應隱瞞。成本數字是以定價估算的,而定價會變動。而且在一對手臂上只做兩項任務,對任一模型來說都只是很窄的觀察窗口——該團體自己的定位是一系列報告中的後續篇章,而非最終定論。

為何重要

關於前沿模型控制機器人的說法,幾乎總是以精心剪輯的示範影片呈現。這次則是 120 次經過評分的試驗,每一次都附有影片、文字紀錄與成本,並透過任何人都能安裝的測試框架執行。這正是行銷素材與實際量測之間的差別,也為下一個類似說法立下了可供檢驗的標準。

重點

  • GPT-6 Astra 在 20 次試驗中有 19 次把方塊放進碗裡,Fable 5.1 為 20 次中 8 次,而 Astra 每次執行的成本約為一半、時間約為三分之一
  • 在拼圖插入任務上,兩個模型都只成功 20 次中的 2 次,並在相同的最後一步卡住,因此一項任務上的差距,對另一項任務幾乎說明不了什麼
  • 全部 120 次試驗都逐一公開,附有逐階段的人工評分、經過時間、token 數與可下載的影片
  • 評分採用 0-4 的標準,會記錄失敗的執行進展到哪裡,讓失敗清楚可見,而不是被壓縮成單一成功率
  • 測試框架 Inspect Robots 採用 MIT 授權並開源,評估可以重新執行,而不必單憑信任
  • 成本數字是以定價估算,而在一對手臂上執行兩項任務只是一扇狹窄的窗口

開源觀點

測試框架才是開源的重點。Inspect Robots 採用 MIT 授權,對 SO-100 與 SO-101 手臂提供一級支援並沿用 LeRobot 的校正,而且設計成只需定義一次的基準測試,就能在真實手臂、人形機器人或模擬器上執行。任何擁有低成本手臂的人,都能在自己的硬體上以自己的模型重現這類評估,這正是讓結果可受檢驗、而不必單憑信任的原因。

相關技術

  • Inspect Robots
  • I2RT YAM arms
  • Rerun
  • LeRobot

連結

  • 來源: https://openai.robocurve.org/gpt-6-astra/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。