World Model

類別: Learning & autonomy › Foundation models
標籤: prediction, planning

讓機器人能預測動作如何影響環境的內部模型。

定義

世界模型是讓機器人能預測自身動作如何影響環境的內部表示。它們讓機器人不需實體互動就能進行規劃、想像與反事實推理。

為何重要

世界模型是學習而得的內部模擬器：在給定目前狀態與一個擬議動作時，預測接下來會發生什麼的模型。它之所以重要，是因為它讓代理人能透過想像結果、而不是實際嘗試來進行規劃，這就是從數百萬次實體嘗試中學習，與從少得多的嘗試中學習之間的差別。對機器人學而言，這種樣本效率不是錦上添花：真實的機器人會磨損，每一次真實試驗都要付出時間與風險。

主要應用

以少得多的真實試驗進行基於模型的強化學習
以想像的推演而非實體試驗進行規劃
在採取動作之前預判其後果
從沒有動作標註的影片中學習
以想像的資料填補稀疏真實經驗之間的空缺
異常偵測，比較預測與觀測

實際應用

做法是學習觀測的精簡潛在表示，以及在其上的動力學模型，再於這個學習而得的空間中進行規劃或訓練策略。近來的影片生成研究把同樣的概念推向直接預測未來的影格，這也是世界模型與影片模型之間的界線變得模糊的原因。典型的弱點是預測誤差的累積：把學習而得的模型往前推演得夠遠，它就會漂移到看似合理、實際上卻違反物理的狀態，因此規劃時域一直很短。

常見誤解

世界模型就是物理引擎：它是從資料中學習而來的近似，不是由運動方程式推導而來
預測越長越好：誤差會累積，因此長時間的想像推演會變得自信卻不合物理
它能取代真實資料：它以真實資料訓練，也繼承了資料的涵蓋範圍與偏差
世界模型與影片生成器是同一回事：世界模型必須以動作為條件，才能用於控制

誰需要了解

基於模型之強化學習的研究人員
在樣本效率與模型複雜度之間權衡的工程師
任何在關注影片生成與機器人學習匯流的人
學習基於模型與無模型之分的學生
任何在評估機器人能「想像」結果之相關宣稱的人

影片

What are World Models?: AI Research

Open Source Robotics