Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

Auteurs: Xin Ding, Liang Mi, Mingzhe Huang, Zixuan Wang, Chao Zhang, Zixu Hao, Fu Chen, Xiangyu Li, Yikai Zheng, Yaoyu Guo, Weijun Wang, Kun Li, Hao Wu, Yunxin Liu, Ting Cao · arXiv 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un VLA figé est enveloppé de critiques et de compétences de récupération fondées sur du code, que des agents diagnostiquent, réparent et valident à partir de rollouts simulés échoués, ce qui fait passer la réussite sur RoboCasa de 73,6 % à 93,6 %.

Pourquoi c'est important

L'article montre un moyen d'accroître la fiabilité d'une politique de manipulation pré-entraînée sans réentraîner ses poids : détecter dans le code des états d'échec physiques tels que la perte de saisie ou un transport bloqué, et exécuter des récupérations ciblées. Les paires critique-récupération apprises sont définies sur une géométrie relative aux objets et des prédicats de contact ; elles se reportent donc à des tâches apparentées, et l'article considère le débit de rollouts comme le facteur limitant de cette amélioration.

Problème

Les politiques VLA et monde-action s'exécutent en boucle ouverte à l'inférence ; un glissement ou une petite collision peut donc dégénérer en échec de la tâche. Les harness d'agents à modèle de langage ne réfléchissent qu'après la fin d'un épisode, car les grands modèles ne peuvent pas décider à la fréquence des actions, et une réflexion a posteriori ne peut ni tester d'alternatives ni voir l'état d'échec exact. L'apprentissage par auto-exploration est en outre limité par la vitesse à laquelle les rollouts peuvent être générés.

Solution proposée

La politique de base (π0.5 ou GR00T N1.5) et un agent orchestrateur restent fixes tandis qu'évolue un harness composé de critiques à l'exécution fondées sur du code, de playbooks de récupération et d'outils. Les critiques s'exécutent à la fréquence des actions et proposent des interventions que l'orchestrateur approuve ; des agents hors ligne regroupent les rollouts échoués selon le premier jalon manqué et la divergence la plus précoce par rapport aux exécutions réussies, diagnostiquent la cause racine de haut en bas, de la logique d'évaluation aux paramètres de commande, écrivent un correctif minimal assorti d'un contrat de réentrée pour rendre le contrôle, et ne l'admettent qu'après qu'il a corrigé chaque graine de son groupe et tenu sur des graines réservées. Z-Infra, construit sur Ray, sépare les workers d'environnement des workers de modèle sur GPU, avec inférence par lots, partition VLM/expert d'action et quantification optionnelle.

Idées clés

• Des critiques fondées sur du code peuvent surveiller l'exécution à la fréquence des actions, laissant à l'agent lent à modèle de langage l'approbation des interventions et le diagnostic hors ligne.
• Diagnostiquer les échecs de haut en bas (évaluation, critique, état, planification, récupération, puis paramètres) et corriger au niveau le plus élevé qui règle le défaut évite de surajuster des paramètres de bas niveau à un seul échec.
• Les gains arrivent souvent brusquement lorsque l'agent trouve le véritable goulot d'étranglement physique, comme le maintien de la saisie ou la géométrie d'approche, après que des correctifs symptomatiques antérieurs ont stagné.
• Les paires critique-récupération définies sur une géométrie relative aux objets et des prédicats de contact génériques se transfèrent en zero-shot à des tâches apparentées.
• Les références agent-in-the-loop qui appellent un LLM à chaque point de décision sont lentes ; n'invoquer les agents qu'hors ligne et exécuter les critiques en ligne réduit la latence par épisode.

Principaux résultats

• RoboCasa, 18 tâches Atomic-Seen avec GR00T N1.5 comme base figée : la réussite en macro-moyenne est passée de 73,56 % à 93,56 % en quatre cycles de réparation (78,71 %, 84,85 %, 90,54 %, 93,56 %), évaluée sur 50 graines réservées par tâche.
• LIBERO-Pro avec π0.5 comme base figée : Goal (T) est passé de 31,0 % à 92,5 % et Goal (S) de 38,0 % à 89,0 % ; les 90,8 % du résumé sont la moyenne de ces deux réglages Goal, tandis que la moyenne globale du Table 3 incluant LIBERO-10 est de 71,13 % (contre 32,00 %), avec LIBERO-10 (T) de 50,0 % à 63,0 % et (S) de 9,0 % à 40,0 %.
• Transfert zero-shot des compétences apprises sur PnP-Stove : PnP-Sink de 58 % à 82 %, PnP-Cabinet de 62 % à 80 %, PnP-Toaster de 72 % à 90 % ; les compétences issues de TurnOffStove ont fait passer trois tâches d'objets articulés d'une moyenne de 64 % à 80 %.
• Gains brusques : Goal-T2 (bouteille de vin dans un bol) est passé de 10 % à 15 % après un premier correctif, puis à 95 % une fois ajoutée une critique de maintien de la saisie ; Goal-S6 (fromage à la crème) est passé de 5 % à 90 %.
• Vitesse par rapport à la référence d'agent RPent : le résumé indique une accélération de l'inférence de 11,1× (latence réduite de 91 %), tandis que la Section 4.6 indique une réduction de 11,9× de la latence par épisode et que la Fig. 14 montre 12,0× à une concurrence de 16.
• Débit de Z-Infra sur 8 GPU A100 : 22,09 épisodes/min à une concurrence de 16, soit 7,7× le harness sans Z-Infra (2,88) et 12,8× RPent (1,72), et jusqu'à 35,1 épisodes/min à une concurrence de 64 ; le chiffre de 20,6× de l'introduction compare ces 35,1 aux 1,7 de RPent.

Limites

• Toutes les expériences se déroulent en simulation (LIBERO-Pro et RoboCasa sur MuJoCo/robosuite) ; les auteurs laissent l'extension aux robots réels et l'écart sim-to-real à des travaux futurs.
• Les auteurs indiquent que les résultats valent pour leur budget de rollout actuel, et que l'auto-évolution fait progresser la réussite vers le plafond de capacité de la politique figée plutôt qu'au-delà.
• Les tableaux de benchmarks ne comparent qu'aux politiques de base figées ; la seule référence d'agent incarné est RPent, utilisée pour la latence et le débit, et l'article ne précise pas quel modèle de langage fait fonctionner l'orchestrateur et les agents évolutifs.
• Les chiffres phares dépendent du choix de présentation : les 90,8 % sur LIBERO-Pro couvrent les suites Goal, tandis que la moyenne globale de LIBERO-Pro incluant LIBERO-10 est de 71,13 %.
• Le diagnostic s'appuie sur des données internes du simulateur, comme les forces de contact, les états internes et les prédicats officiels des tâches, qu'un déploiement réel pourrait ne pas exposer sous la même forme.

Impact sur le domaine

Hugging Face Daily Papers : 140 votes positifs, dans les 5 % supérieurs des articles de robotique de ce site sur les six derniers mois. L'article indique une page de projet ; il ne mentionne pas de publication du code.

Résumé

Les agents incarnés sont de plus en plus utilisés pour combler l'écart laissé par les modèles de politique de bout en bout. Pourtant, la voie agentique n'a pas encore réalisé d'apprentissage en boucle fermée dans l'exécution physique : les harness existants restent largement en boucle ouverte, suivant des compétences fixes pendant le rollout et ne réfléchissant qu'une fois l'épisode terminé. Une telle réflexion a posteriori ne peut pas piloter l'exécution à mesure qu'elle se déroule, car l'interaction physique exige des décisions qui suivent des états robot-environnement changeant rapidement, à une fréquence hors de portée des grands modèles agentiques actuels. Nous présentons Zetta, un harness incarné en boucle fermée qui fait évoluer en ligne des critiques à l'exécution et des compétences de récupération fondées sur du code, tout en gardant la politique de base figée. Grâce à trois boucles séparées par leurs échelles de temps, Zetta assure un pilotage à la fréquence des actions, des propositions de critique et de récupération au niveau du rollout, et des mises à jour de compétences conditionnées par une validation. Avec Z-Infra, une infrastructure de rollout qui découple la logique de l'agent de ressources d'exécution hétérogènes, Zetta atteint une réussite à l'état de l'art sur LIBERO-Pro et RoboCasa avec notre budget de rollout actuel, soit 90,8 % et 93,6 %, avec une accélération de l'inférence de 11,1× ; la réussite continue de croître avec l'expérience d'auto-exploration, les compétences apprises se transfèrent en zero-shot, et de nets « moments Aha » robotiques apparaissent. Ces résultats montrent que l'auto-évolution d'un harness en boucle fermée ouvre une voie de passage à l'échelle vers une intelligence physique fiable.

Liens

• arXiv 2608.16590: https://arxiv.org/abs/2608.16590
• PDF: https://arxiv.org/pdf/2608.16590v1
• Page du projet: https://air-embodied-brain.github.io/zetta