Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

LingBot-VA

用於通用機器人控制的因果式影片動作世界模型

授權條款

Apache-2.0

概述

來自 Robbyant(螞蟻集團)、用於通用機器人控制的因果式影片動作世界模型。在架構上,它以自迴歸擴散框架搭配雙流混合 Transformer 架構,將視覺動態預測與動作推論統一在單一交錯序列中。具備可持續取得環境回饋的閉迴路推演機制、將動作預測與馬達執行平行處理的非同步推論流程,以及用於高效率即時控制的 KV 快取最佳化。在製作早餐等長時程操作任務上展現強勁表現,並提升了樣本效率與對新場景的泛化能力。預訓練權重可在 HuggingFace 與 ModelScope 上取得。

LingBot-VA 是一個因果式世界建模框架,統一了視覺動態預測與動作推論,用於通用機器人控制。它由 Robbyant(螞蟻集團旗下)開發,採用自迴歸擴散方法,搭配雙流混合 Transformer(MoT)架構,針對長時程任務與真實世界泛化進行最佳化。

關鍵創新在於將影片世界建模視為機器人學習的獨立基礎。影片世界模型透過理解動作與視覺動態之間的因果關係,提供想像近期未來的能力。這讓機器人能透過預測視覺結果並據此規劃動作,完成製作早餐等複雜的連續任務。

系統具備可持續取得環境回饋的閉迴路推演機制,以及將動作預測與馬達執行平行處理的非同步推論流程,實現即時效能。

為何重要

LingBot-VA 是一個世界動作模型,在單一架構中統一了影片預測與機器人動作推論。這種來自 Robbyant(螞蟻集團)的因果式交錯方法代表一種新範式:理解物理的同一個模型,可以直接控制機器人。

解決的問題

目前的機器人控制系統將感知與動作分開。LingBot-VA 證明單一模型可以同時預測世界如何演變並決定要採取的動作,帶來更連貫、更有能力的機器人行為。

重點

  • 用於通用機器人控制的因果式影片動作世界模型
  • 視覺動態預測與動作推論的統一架構
  • 以交錯序列建模影片影格與機器人動作
  • 由 Robbyant(螞蟻集團)為具身 AI 開發
  • 展現強大的零樣本泛化能力

適用對象

  • 探索以世界模型進行機器人控制的研究人員
  • 建構以影片預測為基礎之操作系統的團隊
  • 研究具身 AI 因果模型的開發者
  • 評估新一代機器人架構的公司

限制

  • 大型模型,需要大量推論運算資源
  • 因果式影片生成會增加動作決策的延遲
  • 相對較新的方法,社群採用有限
  • 訓練需要大規模的影片與動作資料集

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。