Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Learning Universal Policies via Text-Guided Video Generation

作者: Yilun Du, Mengjiao Yang, Bo Dai, Hanjun Dai, Ofir Nachum, Joshua B. Tenenbaum, Dale Schuurmans, Pieter Abbeel · NeurIPS 2023

NeurIPS 2023

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

第一篇以影片擴散模型作為機器人策略的論文:根據文字目標生成期望的未來影片,再透過逆動力學擷取動作。

為何重要

UniPi 開創了以影片生成模型作為機器人策略的範式,這個想法衍生出一整個研究方向。之後每一種「影片到動作」的方法(TesserAct、Gen2Act、DreamZero、DVA)都可追溯到這篇論文。

問題

傳統的機器人策略直接將觀測對應到動作,不同的環境需要各自的策略。在此之前,沒有任何工作以影片生成作為機器人控制的核心策略表示。

提出的方法

使用以文字為條件的影片擴散模型生成「期望未來」的影片軌跡,再透過學習而得的逆動力學模型擷取控制動作。影片模型在像素空間中規劃,而逆動力學模型負責處理與環境相關的動作轉換。

關鍵見解

  • 影片生成模型可以作為通用的機器人策略,這是第一個展示這種範式的工作
  • 文字條件化讓模型不需重新訓練,就能對新目標進行組合式泛化
  • 逆動力學將影片預測與動作擷取解耦,讓影片模型專注做它最擅長的事
  • 單一策略介面可用於具有不同狀態與動作空間的環境

主要結果

  • 對訓練期間未見過的新文字目標進行組合式泛化
  • 在具有不同動作空間的環境之間使用統一的策略表示
  • 勝過以語言為條件的行為複製與規劃基準方法
  • 能根據文字指令完成長時域的多步驟任務

限制

  • 推論時的影片生成運算成本高昂,限制了即時控制
  • 逆動力學模型會引入瓶頸,並可能造成誤差累積
  • 主要在模擬環境中展示,而非真實世界的機器人
  • 影片品質在長時域中會下降,限制了規劃深度

對領域的影響

以影片生成作為機器人策略的基礎論文。它的影響橫跨「影片模型作為模擬器」與「影片模型作為策略」兩類方法。DreamZero(2026)直接建立在它的核心洞見之上。

摘要

UniPi 將序列決策重新定義為以文字為條件的影片生成問題。給定期望目標的文字描述與目前狀態的單張影像,一個以擴散為基礎的影片模型會合成出一條合理的未來軌跡。接著,逆動力學模型從生成的影片影格中擷取低階動作。這種解耦讓模型能對以語言描述的新目標進行組合式泛化,並在不同環境之間提供統一的策略介面。

連結

  • arXiv 2302.00111: https://arxiv.org/abs/2302.00111
  • PDF: https://arxiv.org/pdf/2302.00111
  • 程式碼: https://github.com/flow-diffusion/AVDC
  • 專案頁面: https://universal-policy.github.io/unipi/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。