Inspect Robots

벤치마크를 한 번 정의하고, 어떤 정책이든 어떤 로봇에서든 돌린다

라이선스

MIT

개요

Inspect Robots는 피지컬 AI를 위한 열린 평가 프레임워크다. 로보틱스 벤치마크를 한 번 정의하면 어떤 정책이든 호환되는 어떤 몸에든 돌릴 수 있다. LLM 에이전트든 VLA든, 실제 팔이든 휴머노이드든 시뮬레이터든. 모든 실행은 감사 가능한 로그를 남긴다 — 채점 점수, LLM 전체 대화 기록, 설정 일체 — 그리고 Rerun 시각화가 일급으로 붙어 있어 실행을 표로만 남기지 않고 눈으로 볼 수 있다. 프로젝트는 스스로를 로보틱스의 Inspect AI라 부르는데, 그 비유가 적절하다. 가치는 특정 과제가 아니라 하네스와 기록 방식 자체에 있다.

핵심 구조는 벤치마크와 정책과 리그의 분리다. 벤치마크 정의는 무엇이 자신을 돌릴지 모르고, 정책은 자신이 무엇 위에서 도는지 모르며, 리그 플러그인이 몸을 공급한다. 그래서 '어떤 정책이든 어떤 몸에든'이 구호 이상이 된다 — 예컨대 inspect-robots-yam을 설치하면 molmoact2 정책과 yam_arms 리그가 함께 들어오고, 같은 벤치마크가 그대로 돈다. SO-100과 SO-101 팔은 LeRobot 캘리브레이션을 재사용하는 방식으로 일급 지원되는데, 이것이 취미가가 쓸 수 있는 프레임워크와 연구실을 전제하는 프레임워크의 차이다.

이렇게 어린 프로젝트치고 공학 기준이 유난히 눈에 보인다. CI, mypy strict, 테스트와 공개 docstring 커버리지 100%를 내세우는 배지, 파이썬 3.10부터 3.13까지, 그리고 docs.inspectrobots.org의 문서 사이트. uv로도 pip로도 설치되고 rerun 엑스트라가 실시간 뷰어를 끌어온다. 성숙도에 대해서도 저자들은 똑같이 솔직하다. README에 알파 배지가 붙어 있고, 릴리스 사이에 API가 바뀔 수 있으니 버전을 고정하라고 말한다.

이것은 공개된 결과 뒤에 있는 하네스이기도 하다. Robocurve가 이것으로 GPT-6 Astra와 Claude Fable 5.1을 같은 YAM 팔에서 돌리고 120회 시행 전부를 공개했다. 로그가 정말로 감사 가능하다는 현재로서 가장 좋은 증명이다.

중요한 이유

모델이 로봇을 제어한다는 주장은 대개 반증 불가능하다. 데모 영상만 있고 하네스도 시행 횟수도 없으며 다시 돌려 볼 방법도 없다. 공유된 평가 도구야말로 언어 모델에 대한 주장을 따져 볼 수 있는 것으로 바꿔 놓았는데, 로보틱스에는 그에 해당하는 것이 없었다. 이것은 믿을 만한 시도이고, 무엇보다 도입 비용이 싸다 — 책상에 SO-101을 둔 독자가 설치해서 연구실이 돌린 것과 같은 벤치마크를 돌릴 수 있다. 평가 프레임워크가 퍼지느냐를 가르는 것이 바로 그 성질이다.

해결하는 문제

어떤 정책이 물리 과제에서 실제로 쓸 만한지 물을 공유된 방법이 없어서, 모든 주장이 제 조건대로 나오고 어느 것도 비교되지 않는다. Inspect Robots는 하네스와 채점과 감사 기록을 제공하고 그것들을 로봇으로부터 독립적으로 유지해, 같은 질문을 다른 하드웨어에 던질 수 있게 한다.

핵심 요점

벤치마크와 정책과 몸이 서로 분리된 관심사라, 같은 벤치마크가 LLM 에이전트에도 VLA에도, 실제 팔에도 휴머노이드에도 시뮬레이터에도 돈다
모든 실행이 감사 가능한 로그를 낸다: 채점 점수, LLM 전체 대화 기록, 설정 일체
일급 Rerun 시각화 덕분에 실행을 채점만 하는 게 아니라 볼 수 있다
SO-100과 SO-101 일급 지원이 LeRobot 캘리브레이션을 재사용하므로, 값싼 팔이 뒤늦은 고려가 아니라 정식 지원 대상이다
리그 플러그인이 정책과 몸을 함께 묶는다 — inspect-robots-yam은 molmoact2 정책과 yam_arms 리그를 공급한다
CI, mypy strict, 테스트와 docstring 커버리지 100%를 내세우는 배지, 파이썬 3.10~3.13
Robocurve가 공개한 GPT-6 Astra 평가 뒤의 하네스이며, 그 평가에서 120회 시행 전부가 트레이스와 함께 공개됐다

대상

실제 로봇에서 LLM 에이전트나 VLA를 평가하면서 결과가 검증 가능하기를 바라는 사람
이미 가진 하드웨어에서 정책을 벤치마크하고 싶은 SO-100·SO-101 소유자
조작 결과를 보고하는 방식을 표준화하려는 연구 그룹
공개된 로봇 평가를 재현하거나 반박하려는 사람

한계

명시적으로 알파다. README는 릴리스 사이에 API가 바뀔 수 있다고 말하며 의존하기 전에 버전을 고정하라고 요청한다
지원되는 리그 집합이 작다 — 문서화된 것은 YAM 팔과 SO-100/101뿐이라, 다른 몸은 플러그인을 직접 써야 한다는 뜻이다
커버리지와 타이핑 배지는 프로젝트 자체 CI의 자가 보고이지 독립 감사가 아니다
공개된 사용 사례에서 채점은 사람이 기준표에 따라 했다. 즉 이 프레임워크가 표준화하는 것은 기록 방식이지 채점에서 사람을 빼는 것이 아니다
이것으로 평가를 발표하는 바로 그 집단이 만들고 관리한다. 효율적이지만 도구와 결과가 서로 독립적이지 않다는 뜻이다
어리다: 저장소는 2026년 6월 말부터다