Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

RoboColosseum 啟用真實機器人評估網路,Hugging Face 為創始夥伴

  • 來源: NUS and partners
  • 作者: Open Source Robotics
  • 發布日期: 2026-11-04
  • 類別: research

由新加坡國立大學與合作夥伴推出的 RoboColosseum,在住家與辦公室中以 SO-101、Franka、YAM 與 Unitree G1 機器人測試機器人策略,其首份研究發現,在一款機器人上的排名,對另一款機器人幾乎沒有參考價值。學術實驗室可申請免費評估;Fine-tune Track 的示範資料已在 Hugging Face Hub 上公開。

RoboColosseum 是一個由在地操作員在真實住家、辦公室與實驗室中運作的機器人網路,目的是在許多地點以相同方式測試機器人策略。它在 11 月 2 日由新加坡國立大學、華盛頓大學、史丹佛大學、Hugging Face 等機構的研究人員以一篇論文發表,Hugging Face 也於 11 月 4 日宣布自己是創始合作夥伴,與 NUS 的 MAGIC Lab、Singapore Embodied AI Centre 及 BitRobot 並列。

運作方式

實驗室提交一個模型,透過 RoboColosseum 的策略 API 連接,或讓其檢查點在機器人旁的機器上執行。操作員布置每個場景,並執行兩個賽道:

- Open Track: 兩個匿名模型在相同場景中嘗試同一條新指示,由評估者選出表現較好的一次執行,或判為平手。排名來自這些盲測的成對比較。 - Fine-tune Track: 每個模型在 20 項任務中,每項都以相同的 100 次示範進行微調,接著每項任務嘗試 25 次,同時依部分進度與完全成功計分。

首份研究涵蓋四款機器人:SO-101、採用 DROID 配置的 Franka 手臂、雙臂 YAM,以及 Unitree G1 人形機器人。研究比較了五種視覺-語言-動作(VLA)策略,GR00T N1.7、π₀.₅、MolmoAct2、G0.5 與 LingBot-VLA v2,以及三個透過 API 操控機器人的前沿模型:GPT-6 Astra、Claude Opus 5.5 與 Grok 4.7。

首份研究的發現

- 在 124 個地點進行的 5,699 次 Open Track 比較中,前沿模型的表現足以與專用策略匹敵,但沒有任何系統能可靠地完成開放世界任務。 - 經過微調後,GR00T N1.7 在 SO-101 上領先,π₀.₅ 則在 Franka 與雙臂 YAM 上領先。 - 不同機器人之間的排名一致性很弱(Kendall's W 為 0.24),而 Open Track 的排名也難以預測微調後的結果,在兩個賽道共用的三款機器人上都出現大幅逆轉。 - 在 Unitree G1 上,沒有任何策略完成其五項任務中的任何一項,但平均進度仍介於 13.3% 至 23.2% 之間,這個差異若只看成功率就會被掩蓋。

作者承諾為學術實驗室與合作夥伴提供 10,000 小時的免費評估,網站也開放申請。Fine-tune Track 各任務的示範資料以 LeRobot 格式放在 Hub 上的 RoboColosseum 組織下。Hugging Face 的公告表示,每一次 rollout(包括失敗的)都在 Hub 上公開;但截至撰文時,該組織只收錄了這些示範資料集。

在真實硬體上公開評估機器人模型的概念並不新:Robocurve 已於 9 月在 YAM 手臂上發表了公開評估。RoboColosseum 的不同之處在於規模,即眾多在地條件一致的操作地點,以及它發現策略的排名在很大程度上取決於所執行的機器人。

為何重要

如果你是從排行榜挑選機器人策略,這項研究建議你先確認排名是否在你的機器人上量測:排名在 SO-101、Franka、YAM 與 G1 之間幾乎無法延續,而零樣本排名也無法預測微調後的排名。學術實驗室也能讓自己的模型在各地的真實機器人上接受測試,而不必自行建置這套設備。

重點

  • RoboColosseum 在眾多真實地點,以在地操作的 SO-101、Franka(DROID)、雙臂 YAM 與 Unitree G1 機器人執行機器人策略
  • 首份研究在 124 個地點進行了 5,699 次盲測成對比較,另有一個包含 20 項任務、每項 100 次示範的微調賽道
  • 不同機器人之間的策略排名一致性很弱,零樣本排名也無法預測微調後的排名
  • 前沿模型(GPT-6 Astra、Claude Opus 5.5、Grok 4.7)足以與專用 VLA 策略匹敵,但沒有任何系統能可靠完成開放世界任務
  • 承諾為學術實驗室提供 10,000 小時的免費評估;微調示範資料已放在 Hugging Face Hub 上

開源觀點

微調示範資料集以 LeRobot 格式發布在 Hugging Face Hub 上(有標示授權者為 Apache-2.0)。評估本身是由操作員執行的服務,並非開源軟體;其用戶端與策略伺服器儲存庫目前尚未附上任何授權。

相關專案

  • SO-101 Open Robot Arm
  • DROID
  • NVIDIA Isaac GR00T
  • OpenPI
  • MolmoAct2
  • GalaxeaVLA
  • LingBot-VLA
  • LeRobot

連結

  • 來源: https://arxiv.org/abs/2611.02497

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。