Inspect Robots

Einen Robotik-Benchmark einmal definieren, jede Policy auf jedem Roboter laufen lassen

Lizenz

MIT

Überblick

Inspect Robots ist ein offenes Auswertungsframework für Physical AI. Man definiert einen Robotik-Benchmark einmal und lässt dann jede Policy gegen jede kompatible Verkörperung laufen: einen LLM-Agenten oder ein VLA, auf einem echten Arm, einem Humanoiden oder in einem Simulator. Jeder Lauf erzeugt auditierbare Logs — Bewertungen, das vollständige LLM-Transkript und die komplette Konfiguration — und es gibt erstklassige Rerun-Visualisierung, sodass ein Lauf angesehen und nicht nur tabelliert werden kann. Das Projekt beschreibt sich als Inspect AI für die Robotik, und der Vergleich trägt: der Wert liegt im Harness und in der Protokollführung, nicht in einer bestimmten Aufgabe.

Die entscheidende Struktur ist die Trennung von Benchmark, Policy und Rig. Eine Benchmark-Definition weiß nicht, was sie ausführen wird; eine Policy weiß nicht, worauf sie läuft; ein Rig-Plugin liefert die Verkörperung. Das macht aus 'jede Policy gegen jede Verkörperung' mehr als einen Slogan — installiert man etwa inspect-robots-yam, kommen damit sowohl eine molmoact2-Policy als auch ein yam_arms-Rig, und derselbe Benchmark läuft unverändert weiter. Es gibt erstklassige Unterstützung für SO-100- und SO-101-Arme, die die LeRobot-Kalibrierung weiternutzt — das ist der Unterschied zwischen einem Framework, das ein Bastler verwenden kann, und einem, das ein Labor voraussetzt.

Die Engineering-Standards sind für ein so junges Projekt ungewöhnlich sichtbar: CI, mypy strict und Badges, die 100% Test- und Docstring-Abdeckung behaupten, dazu Python 3.10 bis 3.13 und eine Dokumentationsseite unter docs.inspectrobots.org. Installiert wird mit uv oder pip, das rerun-Extra bringt den Live-Viewer. Ebenso sichtbar ist die Offenheit über den Reifegrad — die README trägt ein Alpha-Badge und bittet darum, eine Version zu pinnen, weil sich die API zwischen Releases ändern kann.

Es ist zudem das Harness hinter einem veröffentlichten Ergebnis: Robocurve hat damit GPT-6 Astra und Claude Fable 5.1 auf denselben YAM-Armen laufen lassen und alle 120 Versuche freigegeben — der beste verfügbare Beleg dafür, dass die Protokollierung wirklich auditierbar ist.

Warum es wichtig ist

Behauptungen darüber, dass Modelle Roboter steuern, sind meist unfalsifizierbar: ein Demovideo, kein Harness, keine Versuchszahl, keine Möglichkeit zur Wiederholung. Gemeinsame Auswertungswerkzeuge haben Behauptungen über Sprachmodelle in etwas Bestreitbares verwandelt, und die Robotik hatte dafür keine Entsprechung. Dies ist ein glaubwürdiger Versuch, und entscheidend ist, dass die Einstiegskosten gering sind — wer einen SO-101 auf dem Schreibtisch hat, installiert es und fährt denselben Benchmark, den ein Labor gefahren hat. Genau diese Eigenschaft entscheidet, ob sich ein Auswertungsframework verbreitet.

Welches Problem es löst

Es gibt keine gemeinsame Art zu fragen, ob eine Policy bei einer physischen Aufgabe tatsächlich etwas taugt, also kommt jede Behauptung zu ihren eigenen Bedingungen und keine lässt sich vergleichen. Inspect Robots liefert Harness, Bewertung und Prüfspur und hält sie vom Roboter unabhängig, sodass dieselbe Frage an unterschiedliche Hardware gestellt werden kann.

Wichtigste Punkte

• Benchmark, Policy und Verkörperung sind getrennte Belange, derselbe Benchmark läuft also gegen einen LLM-Agenten oder ein VLA, auf einem echten Arm, einem Humanoiden oder im Simulator
• Jeder Lauf erzeugt auditierbare Logs: Bewertungen, das vollständige LLM-Transkript und die komplette Konfiguration
• Erstklassige Rerun-Visualisierung bedeutet, dass ein Lauf angesehen und nicht nur bewertet werden kann
• Erstklassige SO-100- und SO-101-Unterstützung nutzt die LeRobot-Kalibrierung weiter, günstige Arme sind also ein unterstütztes Ziel und kein Nachgedanke
• Rig-Plugins bündeln Policy und Verkörperung — inspect-robots-yam liefert eine molmoact2-Policy und ein yam_arms-Rig
• CI, mypy strict und Badges, die 100% Test- und Docstring-Abdeckung behaupten, über Python 3.10-3.13
• Es ist das Harness hinter Robocurves veröffentlichter GPT-6-Astra-Auswertung, in der alle 120 Versuche mit Traces freigegeben wurden

Für wen

• Alle, die einen LLM-Agenten oder ein VLA auf einem echten Roboter auswerten und wollen, dass das Ergebnis prüfbar ist
• SO-100- und SO-101-Besitzer, die eine Policy auf vorhandener Hardware benchmarken wollen
• Forschungsgruppen, die vereinheitlichen, wie sie Manipulationsergebnisse berichten
• Wer eine veröffentlichte Roboterauswertung nachvollziehen oder bestreiten will

Einschränkungen

• Ausdrücklich Alpha: die README sagt, die API könne sich zwischen Releases ändern, und bittet darum, vor jeder Abhängigkeit eine Version zu pinnen
• Der Satz unterstützter Rigs ist klein — dokumentiert sind YAM-Arme und SO-100/101, jede andere Verkörperung heißt also, ein Plugin zu schreiben
• Abdeckungs- und Typing-Badges stammen aus der projekteigenen CI und sind nicht unabhängig geprüft
• In der veröffentlichten Anwendung wurde von einem Menschen nach einer Rubrik bewertet; das Framework vereinheitlicht also die Protokollführung, nimmt aber den Menschen nicht aus der Bewertung
• Gebaut und gepflegt von derselben Gruppe, die damit Auswertungen veröffentlicht — effizient, aber Werkzeug und Ergebnisse sind damit nicht voneinander unabhängig
• Jung: das Repository stammt von Ende Juni 2026