Inspect Robots
定義一次機器人基準測試，在任何機器人上執行任何策略
授權條款
MIT
概述
Inspect Robots 是一套用於實體 AI 的開放評測框架。你只需定義一次機器人基準測試，就能讓任何策略在任何相容的形態上執行：無論是 LLM 代理或 VLA，在真實手臂、人形機器人或模擬器上皆可。每次執行都會產生可稽核的紀錄，包括評分器分數、完整的 LLM 對話紀錄與完整設定，並且一級支援 Rerun 視覺化，讓執行過程可以實際觀看，而不只是列成表格。此專案自稱是機器人領域的 Inspect AI，這個比喻相當貼切：其價值在於測試框架與紀錄保存，而非任何特定任務。
關鍵的架構在於基準測試、策略與測試平台三者分離。基準測試的定義不知道將由什麼來執行它；策略不知道自己在什麼硬體上執行；形態則由測試平台外掛提供。這正是讓「任何策略在任何形態上執行」不只是口號的原因：例如安裝 inspect-robots-yam，就會同時帶入 molmoact2 策略與 yam_arms 測試平台，同一個基準測試即可不經修改直接執行。它一級支援 SO-100 與 SO-101 手臂，並沿用 LeRobot 的校正，這正是業餘愛好者也能使用的框架與預設實驗室環境的框架之間的差別。
以如此年輕的專案而言，其工程標準異常透明：CI、mypy strict，以及宣稱 100% 測試覆蓋率與公開 docstring 覆蓋率的徽章，支援 Python 3.10 至 3.13，文件網站位於 docs.inspectrobots.org。可透過 uv 或 pip 安裝，rerun 額外套件會一併安裝即時執行檢視器。作者對成熟度同樣坦白：README 標示 alpha 徽章，並要求使用者鎖定版本，因為 API 可能在不同版本之間變動。
它也是一項已發表結果背後的測試框架：Robocurve 用它在相同的 YAM 手臂上執行 GPT-6 Astra 與 Claude Fable 5.1，並公開全部 120 次試驗，這是證明其紀錄確實可稽核的最佳現有例證。
為何重要
關於模型控制機器人的說法通常無法被證偽：一段示範影片，沒有測試框架，沒有試驗次數，也無法重新執行。共享的評測工具讓語言模型的主張變得可以討論，而機器人領域至今還沒有對應的工具。這是一次可信的嘗試，而且關鍵在於導入成本很低：桌上有一台 SO-101 的讀者就能安裝它，並執行與實驗室相同的基準測試，而這正是決定一套評測框架能否普及的特性。
解決的問題
目前沒有共通的方法來判斷一個策略在實體任務上是否真的表現良好，因此每項主張都依照各自的條件提出，彼此無法比較。Inspect Robots 提供測試框架、評分與稽核軌跡，並讓它們與機器人無關，使同一個問題可以在不同硬體上提出。
重點
- 基準測試、策略與形態彼此分離，因此同一個基準測試可以讓 LLM 代理或 VLA 在真實手臂、人形機器人或模擬器上執行
- 每次執行都會輸出可稽核的紀錄：評分器分數、完整的 LLM 對話紀錄與完整設定
- 一級支援 Rerun 視覺化，代表執行過程可以觀看，而不只是打分數
- 一級支援 SO-100 與 SO-101，並沿用 LeRobot 校正，因此低成本手臂是正式支援的目標，而非事後才補上
- 測試平台外掛將策略與形態綁在一起：inspect-robots-yam 提供 molmoact2 策略與 yam_arms 測試平台
- CI、mypy strict，以及宣稱 100% 測試與 docstring 覆蓋率的徽章，支援 Python 3.10-3.13
- 它是 Robocurve 已發表之 GPT-6 Astra 評測背後的測試框架，該評測公開了全部 120 次試驗及其軌跡
適用對象
- 在真實機器人上評測 LLM 代理或 VLA，並希望結果可以查核的任何人
- 想在既有硬體上對策略進行基準測試的 SO-100 與 SO-101 使用者
- 正在統一操作結果報告方式的研究團隊
- 重現或質疑已發表機器人評測的人
限制
- 明確標示為 alpha：README 表示 API 可能在不同版本之間變動，並要求在依賴它之前鎖定版本
- 支援的測試平台不多：文件只涵蓋 YAM 手臂與 SO-100/101，任何其他形態都需要自行撰寫外掛
- 覆蓋率與型別徽章由專案自己的 CI 回報，未經獨立稽核
- 在已發表的使用案例中，評分是由人依照評分準則進行，因此此框架統一的是紀錄保存，而非把人從評分中移除
- 由使用它發表評測的同一團隊開發與維護，這樣很有效率，但也代表工具與結果彼此並不獨立
- 專案很新：儲存庫建立於 2026 年 6 月下旬