LingBot-VA
用於通用機器人控制的因果式影片動作世界模型
授權條款
Apache-2.0
概述
來自 Robbyant(螞蟻集團)、用於通用機器人控制的因果式影片動作世界模型。在架構上,它以自迴歸擴散框架搭配雙流混合 Transformer 架構,將視覺動態預測與動作推論統一在單一交錯序列中。具備可持續取得環境回饋的閉迴路推演機制、將動作預測與馬達執行平行處理的非同步推論流程,以及用於高效率即時控制的 KV 快取最佳化。在製作早餐等長時程操作任務上展現強勁表現,並提升了樣本效率與對新場景的泛化能力。預訓練權重可在 HuggingFace 與 ModelScope 上取得。
LingBot-VA 是一個因果式世界建模框架,統一了視覺動態預測與動作推論,用於通用機器人控制。它由 Robbyant(螞蟻集團旗下)開發,採用自迴歸擴散方法,搭配雙流混合 Transformer(MoT)架構,針對長時程任務與真實世界泛化進行最佳化。
關鍵創新在於將影片世界建模視為機器人學習的獨立基礎。影片世界模型透過理解動作與視覺動態之間的因果關係,提供想像近期未來的能力。這讓機器人能透過預測視覺結果並據此規劃動作,完成製作早餐等複雜的連續任務。
系統具備可持續取得環境回饋的閉迴路推演機制,以及將動作預測與馬達執行平行處理的非同步推論流程,實現即時效能。
為何重要
LingBot-VA 是一個世界動作模型,在單一架構中統一了影片預測與機器人動作推論。這種來自 Robbyant(螞蟻集團)的因果式交錯方法代表一種新範式:理解物理的同一個模型,可以直接控制機器人。
解決的問題
目前的機器人控制系統將感知與動作分開。LingBot-VA 證明單一模型可以同時預測世界如何演變並決定要採取的動作,帶來更連貫、更有能力的機器人行為。
重點
- 用於通用機器人控制的因果式影片動作世界模型
- 視覺動態預測與動作推論的統一架構
- 以交錯序列建模影片影格與機器人動作
- 由 Robbyant(螞蟻集團)為具身 AI 開發
- 展現強大的零樣本泛化能力
適用對象
- 探索以世界模型進行機器人控制的研究人員
- 建構以影片預測為基礎之操作系統的團隊
- 研究具身 AI 因果模型的開發者
- 評估新一代機器人架構的公司
限制
- 大型模型,需要大量推論運算資源
- 因果式影片生成會增加動作決策的延遲
- 相對較新的方法,社群採用有限
- 訓練需要大規模的影片與動作資料集