Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

Autoren: Xin Ding, Liang Mi, Mingzhe Huang, Zixuan Wang, Chao Zhang, Zixu Hao, Fu Chen, Xiangyu Li, Yikai Zheng, Yaoyu Guo, Weijun Wang, Kun Li, Hao Wu, Yunxin Liu, Ting Cao · arXiv 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein eingefrorenes VLA wird mit codebasierten Kritikern und Wiederherstellungsfertigkeiten umgeben, die Agenten aus fehlgeschlagenen simulierten Rollouts diagnostizieren, reparieren und validieren, was den Erfolg auf RoboCasa von 73,6 % auf 93,6 % erhöht.

Warum es wichtig ist

Die Arbeit zeigt einen Weg, die Zuverlässigkeit einer vortrainierten Manipulations-Policy zu erhöhen, ohne ihre Gewichte neu zu trainieren: physische Fehlerzustände wie Griffverlust oder stockenden Transport im Code erkennen und gezielte Wiederherstellungen ausführen. Die gelernten Paare aus Kritiker und Wiederherstellung sind über objektrelative Geometrie und Kontaktprädikate definiert und übertragen sich daher auf verwandte Aufgaben, und die Arbeit behandelt den Rollout-Durchsatz als die begrenzende Rate dieser Verbesserung.

Problem

VLA- und World-Action-Policies laufen bei der Inferenz ohne Rückkopplung, sodass ein Abrutschen oder eine kleine Kollision zum Scheitern der Aufgabe eskalieren kann. Agenten-Harnesses auf Basis von Sprachmodellen reflektieren erst nach Ende einer Episode, weil große Modelle nicht mit Aktionsfrequenz entscheiden können, und nachträgliche Reflexion kann weder Alternativen testen noch den genauen Fehlerzustand sehen. Das Lernen aus Selbsterkundung wird zudem dadurch begrenzt, wie schnell sich Rollouts erzeugen lassen.

Lösungsansatz

Die Basis-Policy (π0.5 oder GR00T N1.5) und ein Orchestrator-Agent bleiben fest, während sich ein Harness aus codebasierten Laufzeit-Kritikern, Wiederherstellungs-Playbooks und Werkzeugen weiterentwickelt. Kritiker laufen mit Aktionsfrequenz und schlagen Eingriffe vor, die der Orchestrator freigibt; Offline-Agenten gruppieren fehlgeschlagene Rollouts nach dem ersten verfehlten Meilenstein und der frühesten Abweichung von erfolgreichen Läufen, diagnostizieren die Ursache von oben nach unten von der Evaluationslogik bis zu den Regelparametern, schreiben einen minimalen Patch mit einem Wiedereintrittsvertrag für die Rückgabe der Kontrolle und lassen ihn erst zu, wenn er jeden Seed seines Clusters behebt und auf zurückgehaltenen Seeds standhält. Z-Infra, auf Ray aufgebaut, trennt Umgebungs-Worker von GPU-Modell-Workern mit gebündelter Inferenz, Aufteilung in VLM und Action-Expert sowie optionaler Quantisierung.

Wichtigste Erkenntnisse

Codebasierte Kritiker können die Ausführung mit Aktionsfrequenz überwachen, sodass dem langsamen Sprachmodell-Agenten nur die Freigabe von Eingriffen und die Offline-Diagnose bleiben.
Fehler von oben nach unten zu diagnostizieren (Evaluation, Kritiker, Zustand, Planung, Wiederherstellung, dann Parameter) und auf der höchsten Ebene zu patchen, die den Fehler behebt, vermeidet ein Überanpassen niedriger Parameter an einen einzelnen Fehler.
Gewinne kommen oft abrupt, sobald der Agent den echten physischen Engpass findet, etwa das Halten des Griffs oder die Annäherungsgeometrie, nachdem frühere symptomatische Korrekturen ins Stocken geraten sind.
Paare aus Kritiker und Wiederherstellung, die über objektrelative Geometrie und generische Kontaktprädikate definiert sind, übertragen sich zero-shot auf verwandte Aufgaben.
Agent-in-the-Loop-Baselines, die an jedem Entscheidungspunkt ein LLM aufrufen, sind langsam; Agenten nur offline aufzurufen und Kritiker online laufen zu lassen, senkt die Latenz pro Episode.

Hauptergebnisse

RoboCasa, 18 Atomic-Seen-Aufgaben mit GR00T N1.5 als eingefrorener Basis: Der Makro-Durchschnitt des Erfolgs stieg über vier Reparaturrunden (78,71 %, 84,85 %, 90,54 %, 93,56 %) von 73,56 % auf 93,56 %, evaluiert auf 50 zurückgehaltenen Seeds pro Aufgabe.
LIBERO-Pro mit π0.5 als eingefrorener Basis: Goal (T) stieg von 31,0 % auf 92,5 % und Goal (S) von 38,0 % auf 89,0 %; die 90,8 % aus dem Abstract sind der Durchschnitt dieser beiden Goal-Einstellungen, während der Gesamtdurchschnitt in Table 3 einschließlich LIBERO-10 71,13 % beträgt (von 32,00 %), mit LIBERO-10 (T) von 50,0 % auf 63,0 % und (S) von 9,0 % auf 40,0 %.
Zero-Shot-Übertragung von auf PnP-Stove gelernten Fertigkeiten: PnP-Sink von 58 % auf 82 %, PnP-Cabinet von 62 % auf 80 %, PnP-Toaster von 72 % auf 90 %; Fertigkeiten aus TurnOffStove hoben drei Aufgaben mit artikulierten Objekten von durchschnittlich 64 % auf 80 %.
Abrupte Gewinne: Goal-T2 (Weinflasche in Schüssel) ging nach einer frühen Korrektur von 10 % auf 15 % und dann auf 95 %, sobald ein Kritiker für das Halten des Griffs hinzukam; Goal-S6 (Frischkäse) ging von 5 % auf 90 %.
Geschwindigkeit gegenüber der Agenten-Baseline RPent: Das Abstract nennt eine 11,1-fache Beschleunigung der Inferenz (91 % geringere Latenz), Section 4.6 eine 11,9-fache Verringerung der Latenz pro Episode, und Fig. 14 zeigt das 12,0-Fache bei Nebenläufigkeit 16.
Durchsatz von Z-Infra auf 8 A100-GPUs: 22,09 Episoden/min bei Nebenläufigkeit 16, das 7,7-Fache des Harness ohne Z-Infra (2,88) und das 12,8-Fache von RPent (1,72), mit bis zu 35,1 Episoden/min bei Nebenläufigkeit 64; der Wert von 20,6-fach in der Einleitung vergleicht diese 35,1 mit den 1,7 von RPent.

Einschränkungen

Alle Experimente finden in der Simulation statt (LIBERO-Pro und RoboCasa auf MuJoCo/robosuite); die Autoren überlassen die Erweiterung auf reale Roboter und die Sim-to-Real-Lücke künftiger Arbeit.
Die Autoren geben an, dass die Ergebnisse unter ihrem aktuellen Rollout-Budget gelten und dass Selbstevolution den Erfolg in Richtung der Fähigkeitsobergrenze der eingefrorenen Policy skaliert, nicht darüber hinaus.
Die Benchmark-Tabellen vergleichen nur mit den eingefrorenen Basis-Policies; die einzige Baseline mit verkörpertem Agenten ist RPent, verwendet für Latenz und Durchsatz, und die Arbeit nennt nicht, welches Sprachmodell den Orchestrator und die evolutionären Agenten antreibt.
Die Kernzahlen hängen von der Art der Berichterstattung ab: 90,8 % auf LIBERO-Pro decken die Goal-Suites ab, während der Gesamtdurchschnitt von LIBERO-Pro einschließlich LIBERO-10 71,13 % beträgt.
Die Diagnose stützt sich auf Interna des Simulators wie Kontaktkräfte, interne Zustände und offizielle Aufgabenprädikate, die ein realer Einsatz möglicherweise nicht in derselben Form bereitstellt.

Wirkung auf das Fachgebiet

Hugging Face Daily Papers: 140 Upvotes, unter den obersten 5 % der dortigen Robotik-Papers der letzten sechs Monate. Die Arbeit nennt eine Projektseite; eine Veröffentlichung des Codes wird nicht angegeben.

Zusammenfassung

Verkörperte Agenten werden zunehmend eingesetzt, um die Lücke zu schließen, die End-to-End-Policy-Modelle hinterlassen. Doch der agentische Weg hat Lernen im geschlossenen Regelkreis in der physischen Ausführung noch nicht verwirklicht: Bestehende Harnesses arbeiten weitgehend im offenen Regelkreis, folgen während des Rollouts festen Fertigkeiten und reflektieren erst nach Abschluss einer Episode. Eine solche nachträgliche Reflexion kann die Ausführung nicht steuern, während sie abläuft, denn physische Interaktion verlangt Entscheidungen, die sich schnell ändernden Roboter-Umgebungs-Zuständen mit einer Frequenz folgen, die über die heutiger großer agentischer Modelle hinausgeht. Wir stellen Zetta vor, ein Harness für verkörperte Agenten mit geschlossenem Regelkreis, das codebasierte Laufzeit-Kritiker und Wiederherstellungsfertigkeiten online weiterentwickelt, während die Basis-Policy eingefroren bleibt. Über drei auf getrennten Zeitskalen arbeitende Schleifen bietet Zetta eine Steuerung mit Aktionsfrequenz, Vorschläge für Kritiker und Wiederherstellung auf Rollout-Ebene sowie validierungsgesicherte Aktualisierungen von Fertigkeiten. Zusammen mit Z-Infra, einer Rollout-Infrastruktur, die die Agentenlogik von heterogenen Ausführungsressourcen entkoppelt, erreicht Zetta bei unserem aktuellen Rollout-Budget Erfolgsraten nach dem Stand der Technik auf LIBERO-Pro und RoboCasa von 90,8 % und 93,6 %, bei einer 11,1-fachen Beschleunigung der Inferenz; der Erfolg skaliert mit zunehmender Erfahrung aus Selbsterkundung weiter, gelernte Fertigkeiten übertragen sich zero-shot, und deutliche robotische „Aha-Momente“ treten auf. Diese Ergebnisse zeigen, dass die Selbstevolution eines Harness mit geschlossenem Regelkreis einen Skalierungspfad zu verlässlicher physischer Intelligenz eröffnet.

Open Source Robotics