Learning Universal Policies via Text-Guided Video Generation
作者: Yilun Du, Mengjiao Yang, Bo Dai, Hanjun Dai, Ofir Nachum, Joshua B. Tenenbaum, Dale Schuurmans, Pieter Abbeel · NeurIPS 2023
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。
一句話摘要
第一篇以影片擴散模型作為機器人策略的論文:根據文字目標生成期望的未來影片,再透過逆動力學擷取動作。
為何重要
UniPi 開創了以影片生成模型作為機器人策略的範式,這個想法衍生出一整個研究方向。之後每一種「影片到動作」的方法(TesserAct、Gen2Act、DreamZero、DVA)都可追溯到這篇論文。
問題
傳統的機器人策略直接將觀測對應到動作,不同的環境需要各自的策略。在此之前,沒有任何工作以影片生成作為機器人控制的核心策略表示。
提出的方法
使用以文字為條件的影片擴散模型生成「期望未來」的影片軌跡,再透過學習而得的逆動力學模型擷取控制動作。影片模型在像素空間中規劃,而逆動力學模型負責處理與環境相關的動作轉換。
關鍵見解
- 影片生成模型可以作為通用的機器人策略,這是第一個展示這種範式的工作
- 文字條件化讓模型不需重新訓練,就能對新目標進行組合式泛化
- 逆動力學將影片預測與動作擷取解耦,讓影片模型專注做它最擅長的事
- 單一策略介面可用於具有不同狀態與動作空間的環境
主要結果
- 對訓練期間未見過的新文字目標進行組合式泛化
- 在具有不同動作空間的環境之間使用統一的策略表示
- 勝過以語言為條件的行為複製與規劃基準方法
- 能根據文字指令完成長時域的多步驟任務
限制
- 推論時的影片生成運算成本高昂,限制了即時控制
- 逆動力學模型會引入瓶頸,並可能造成誤差累積
- 主要在模擬環境中展示,而非真實世界的機器人
- 影片品質在長時域中會下降,限制了規劃深度
對領域的影響
以影片生成作為機器人策略的基礎論文。它的影響橫跨「影片模型作為模擬器」與「影片模型作為策略」兩類方法。DreamZero(2026)直接建立在它的核心洞見之上。
摘要
UniPi 將序列決策重新定義為以文字為條件的影片生成問題。給定期望目標的文字描述與目前狀態的單張影像,一個以擴散為基礎的影片模型會合成出一條合理的未來軌跡。接著,逆動力學模型從生成的影片影格中擷取低階動作。這種解耦讓模型能對以語言描述的新目標進行組合式泛化,並在不同環境之間提供統一的策略介面。
連結
- arXiv 2302.00111: https://arxiv.org/abs/2302.00111
- PDF: https://arxiv.org/pdf/2302.00111
- 程式碼: https://github.com/flow-diffusion/AVDC
- 專案頁面: https://universal-policy.github.io/unipi/