Inspect Robots

基准只定义一次，让任意策略在任意机器人上运行

许可证

MIT

概述

Inspect Robots 是一个面向物理 AI 的开放评测框架。你只需定义一次机器人基准，就能让任意策略在任意兼容的载体上运行：LLM 智能体或 VLA，跑在真实机械臂、人形机器人或仿真器上。每一次运行都产生可审计的日志——评分者打分、完整的 LLM 对话记录和完整配置——并且提供一等的 Rerun 可视化，因此一次运行可以被观看，而不只是被列进表格。项目自称是「机器人领域的 Inspect AI」，这个类比很贴切：价值在于框架与记录方式本身，而不在于某一项具体任务。

真正要紧的结构，是基准、策略与装置三者的分离。基准定义并不知道谁会来运行它；策略并不知道自己跑在什么上面；装置插件负责提供载体。这就是「让任意策略在任意载体上运行」不只是一句口号的原因——比如安装 inspect-robots-yam，会同时带来一个 molmoact2 策略和一套 yam_arms 装置，同一个基准随即可以原样运行。它对 SO-100 与 SO-101 机械臂提供一等支持并复用 LeRobot 的标定，这正是「业余爱好者能用的框架」与「默认你有一间实验室的框架」之间的差别。

对一个如此年轻的项目来说，工程标准异常可见：CI、mypy strict，以及声称测试与公共 docstring 覆盖率均为 100% 的徽章，支持 Python 3.10 到 3.13，并有 docs.inspectrobots.org 上的文档站。它可用 uv 或 pip 安装，rerun 这个 extra 会带来实时运行查看器。作者对成熟度同样坦率——README 挂着 alpha 徽章，并要求你固定版本，因为 API 可能在版本之间变化。

它也是一份已发表结果背后的框架：Robocurve 用它在同一对 YAM 机械臂上运行了 GPT-6 Astra 与 Claude Fable 5.1，并公开了全部 120 次试验，这是目前关于「日志确实可审计」的最好证明。

为何重要

关于模型控制机器人的说法，通常是不可证伪的：一段演示视频，没有框架，没有试验次数，也无从重跑。共享的评测工具正是把语言模型的说法变成可争论之物的东西，而机器人领域一直没有对应物。这是一次可信的尝试，而且关键在于它的采用成本很低——桌上放着一台 SO-101 的读者可以装上它，跑一遍实验室跑过的同一个基准，而这一性质决定了一个评测框架能否传播开来。

解决的问题

目前没有一种共享的方式来追问某个策略在物理任务上究竟好不好，于是每个说法都按自己的条件提出，彼此无从比较。Inspect Robots 提供了框架、评分与审计记录，并让它们独立于具体机器人，因此同一个问题可以向不同硬件提出。

要点

• 基准、策略与载体是彼此分离的关注点，因此同一个基准既能对 LLM 智能体也能对 VLA 运行，可以跑在真实机械臂、人形机器人或仿真器上
• 每次运行都产出可审计的日志：评分者打分、完整的 LLM 对话记录与完整配置
• 一等的 Rerun 可视化意味着一次运行可以被观看，而不只是被打分
• 对 SO-100 与 SO-101 的一等支持复用了 LeRobot 的标定，因此低成本机械臂是被正式支持的目标，而非事后补充
• 装置插件把策略与载体打包在一起——inspect-robots-yam 提供一个 molmoact2 策略和一套 yam_arms 装置
• CI、mypy strict，以及声称测试与 docstring 覆盖率均为 100% 的徽章，覆盖 Python 3.10 至 3.13
• 它是 Robocurve 已发表的 GPT-6 Astra 评测背后的框架，那次评测公开了全部 120 次试验及其轨迹

适用人群

• 在真实机器人上评测 LLM 智能体或 VLA、并希望结果可被核查的人
• 希望在自己已有硬件上对策略做基准测试的 SO-100 与 SO-101 用户
• 想要统一操作类结果报告方式的研究团队
• 打算复现或质疑某份已发表机器人评测的人

局限

• 明确处于 alpha：README 声明 API 可能在版本之间变化，并要求在依赖它之前固定版本
• 受支持的装置集合很小——有文档的只有 YAM 机械臂与 SO-100/101，因此任何其他载体都意味着要自己写插件
• 覆盖率与类型检查徽章由项目自己的 CI 自报，而非独立审计
• 在已公开的使用场景中，评分由人类依据量表完成，因此该框架标准化的是记录方式，而不是把人从打分中移除
• 由发布评测结果的同一团队构建与维护，这很高效，但也意味着工具与结果彼此并不独立
• 仓库很年轻：始于 2026 年 6 月下旬