Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

作者: Xin Ding, Liang Mi, Mingzhe Huang, Zixuan Wang, Chao Zhang, Zixu Hao, Fu Chen, Xiangyu Li, Yikai Zheng, Yaoyu Guo, Weijun Wang, Kun Li, Hao Wu, Yunxin Liu, Ting Cao · arXiv 2026

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

將凍結的 VLA 包覆在以程式碼為基礎的評判器與恢復技能中，由代理人依據失敗的模擬 rollout 進行診斷、修復與驗證，使 RoboCasa 成功率從 73.6% 提升到 93.6%。

為何重要

它展示了一種不必重新訓練權重就能提高預訓練操作策略可靠度的方法：以程式碼偵測抓取失落或搬運停滯等實體失敗狀態，並執行有針對性的恢復。學得的評判器-恢復配對是以物體相對幾何與接觸述詞定義的，因此能沿用到相關任務，而論文將 rollout 吞吐量視為這種改進的速率上限。

問題

VLA 與世界-動作策略在推論時以開迴路執行，因此一次滑脫或小碰撞就可能連鎖導致任務失敗。語言模型代理人執行框架只在回合結束後才反思，因為大型模型無法以動作頻率做決策，而事後反思既不能測試替代方案，也看不到確切的失敗狀態。從自我探索中學習，還進一步受限於 rollout 能多快產生。

提出的方法

基礎策略（π0.5 或 GR00T N1.5）與一個編排代理人維持固定，而由以程式碼為基礎的執行期評判器、恢復劇本與工具所組成的執行框架持續演化。評判器以動作頻率執行，並提出由編排代理人核准的介入；離線代理人依第一個未達成的里程碑，以及與成功執行最早出現分歧之處，將失敗的 rollout 分群，由上而下從評估邏輯到控制參數診斷根本原因，撰寫一個附帶交還控制權之重新進入約定的最小修補，並且只有在它修好所屬群集中的每個種子、且在保留種子上依然成立後才採納。建立在 Ray 上的 Z-Infra 將環境工作程序與 GPU 模型工作程序分開，並支援批次推論、VLM/動作專家分割與選用的量化。

關鍵見解

以程式碼為基礎的評判器能以動作頻率監控執行，讓緩慢的語言模型代理人負責核准介入並進行離線診斷。
由上而下地診斷失敗（評估、評判器、狀態、規劃、恢復，最後是參數），並在能修正故障的最高層修補，可避免讓低層參數對單一失敗過度擬合。
在早期針對表面症狀的修正停滯之後，一旦代理人找到真正的實體瓶頸（例如抓取保持或接近幾何），提升往往會突然出現。
以物體相對幾何與通用接觸述詞定義的評判器-恢復配對，能零樣本轉移到相關任務。
在每個決策點都呼叫 LLM 的代理人在迴路基準速度很慢；只在離線時呼叫代理人、線上執行評判器，可降低每個回合的延遲。

主要結果

RoboCasa，18 個 Atomic-Seen 任務，以 GR00T N1.5 為凍結基礎：宏平均成功率經過四輪修復從 73.56% 提升到 93.56%（78.71%、84.85%、90.54%、93.56%），每個任務以 50 個保留種子評估。
LIBERO-Pro，以 π0.5 為凍結基礎：Goal (T) 從 31.0% 提升到 92.5%，Goal (S) 從 38.0% 提升到 89.0%；摘要中的 90.8% 是這兩種 Goal 設定的平均，而表 3 中包含 LIBERO-10 的整體平均為 71.13%（原為 32.00%），其中 LIBERO-10 (T) 從 50.0% 到 63.0%，(S) 從 9.0% 到 40.0%。
在 PnP-Stove 上學得技能的零樣本轉移：PnP-Sink 從 58% 到 82%、PnP-Cabinet 從 62% 到 80%、PnP-Toaster 從 72% 到 90%；來自 TurnOffStove 的技能使三個關節式物體任務的平均從 64% 提升到 80%。
突然的提升：Goal-T2（把酒瓶放進碗裡）在早期修正後從 10% 升到 15%，加入抓取保持評判器後升到 95%；Goal-S6（奶油乳酪）從 5% 升到 90%。
與 RPent 代理人基準的速度比較：摘要給出推論加速 11.1×（延遲降低 91%），而第 4.6 節給出每回合延遲降低 11.9×，圖 14 顯示並行數 16 時為 12.0×。
Z-Infra 在 8 張 A100 GPU 上的吞吐量：並行數 16 時為每分鐘 22.09 個回合，是未使用 Z-Infra 之執行框架（2.88）的 7.7×、RPent（1.72）的 12.8×，並行數 64 時達到每分鐘 35.1 個回合；引言中的 20.6× 是以這個 35.1 與 RPent 的 1.7 相比。

限制

所有實驗都在模擬中進行（以 MuJoCo/robosuite 為基礎的 LIBERO-Pro 與 RoboCasa）；作者將擴展到真實機器人以及模擬到現實落差（sim-to-real gap）留待未來工作。
作者表示，這些結果在其目前的 rollout 預算下成立，且自我演化是將成功率推向凍結策略的能力上限，而不是超越它。
基準表格只與凍結的基礎策略比較；唯一的具身代理人基準是 RPent，僅用於延遲與吞吐量，且論文未指明編排代理人與演化代理人使用的是哪個語言模型。
標題數字取決於報告方式：LIBERO-Pro 上的 90.8% 涵蓋的是 Goal 套件，而包含 LIBERO-10 的 LIBERO-Pro 整體平均為 71.13%。
診斷仰賴模擬器內部資訊，例如接觸力、內部狀態與官方任務述詞，而實際部署可能不會以相同形式提供這些資訊。

對領域的影響

Hugging Face 每日論文：140 個讚，名列該平台過去六個月機器人論文的前 5%。論文提供專案頁面；未說明是否釋出程式碼。

摘要

具身代理人越來越常被用來填補端到端策略模型留下的缺口。然而，代理人路線尚未在實體執行中實現閉迴路學習：現有的執行框架（harness）大多仍是開迴路，在執行過程中依循固定技能，只在一個回合結束後才進行反思。這種事後反思無法在執行展開時加以掌控，因為實體互動要求決策以超出當今大型代理人模型能力的頻率，追蹤快速變化的機器人-環境狀態。我們提出 Zetta，一種閉迴路具身執行框架，在保持基礎策略凍結的同時，線上演化以程式碼為基礎的執行期評判器與恢復技能。透過三個時間尺度分離的迴圈，Zetta 提供動作頻率層級的執行掌控、執行輪次（rollout）層級的評判器-恢復提案，以及以驗證為關卡的技能更新。搭配 Z-Infra（一種將代理人邏輯與異質執行資源解耦的 rollout 基礎設施），Zetta 在我們目前的 rollout 預算下，於 LIBERO-Pro 與 RoboCasa 上達到最先進的成功率，分別為 90.8% 與 93.6%，推論加速 11.1×；成功率隨自我探索經驗持續提升；學得的技能能零樣本轉移，並出現了明顯的機器人「頓悟時刻」（Aha Moments）。這些結果顯示，閉迴路執行框架的自我演化為可靠的實體智慧開啟了一條擴展之路。

連結

arXiv 2608.16590: https://arxiv.org/abs/2608.16590
PDF: https://arxiv.org/pdf/2608.16590v1
專案頁面: https://air-embodied-brain.github.io/zetta