Foundation Model

• 又稱: FM
• 類別: Learning & autonomy › Foundation models
• 標籤: large-models, generalization

以廣泛資料訓練、可調整用於許多下游任務的大型 AI 模型。

定義

基礎模型是以大規模廣泛資料訓練的大型神經網路，設計用來適應許多下游任務。在機器人領域的例子包括能跨任務與環境泛化的 RT-2、OpenVLA 與 Octo。

為何重要

基礎模型是以廣泛資料預訓練、再調整用於許多下游任務的大型模型，而不是只為單一任務打造。在機器人領域，這個想法改變了取得能力的方式：不再為每個任務從頭訓練一個策略，而是從網路規模的預訓練中繼承通用的視覺與語言能力，再用相對少量的機器人資料加以調整。正是這種繼承，讓現代的機器人策略能對機器人訓練期間從未遇過的物體做出合理的動作。

主要應用

• 涵蓋許多任務的通用操作策略
• 不需固定類別清單的開放詞彙感知
• 依日常指令進行的語言條件控制
• 在不同機器人機體之間的跨形態遷移
• 以有限示範資料對新任務進行少樣本調整
• 模擬與資料生成，合成訓練情境

實際應用

機器人基礎模型有兩種形式。視覺語言模型（VLM）負責感知與語意對應（grounding），而 OpenVLA 與 π0 系列等視覺-語言-動作（VLA）模型則把同樣的想法延伸到產生動作。真正的限制在於資料：文字與圖片的數量極為龐大，機器人軌跡資料卻不然。這正是 Open X-Embodiment 這類匯集資料集如此重要的原因，也是跨形態訓練（同時從許多外形不同的機器人學習）成為核心研究方向的原因。

常見誤解

• 基礎模型讓機器人資料不再必要：機器人軌跡資料仍是稀缺的原料，也是限制因素
• 越大的模型遷移效果一定越好：推論延遲會限制控制頻率，較小的模型可能控制得更好
• 一個模型就能處理所有機器人：跨形態遷移只在部分情況下有效，並非普遍適用
• 具備通用能力就代表具備物理能力：網路知識並不會帶來對質量、摩擦或接觸的理解

誰需要了解

• 任何關注機器人能力從何而來的人
• 在客製化策略與調整通用模型之間做選擇的工程師
• 挑選要微調之基礎模型的研究人員
• 評估廠商對通用機器人宣稱的買家
• 剛進入機器人學習領域的學生

相關技術

• 視覺語言模型（VLM）
• 大型語言模型（LLM）
• 模仿學習
• 基於人類回饋的強化學習（RLHF）
• Transformer 架構
• RT-2（Robotic Transformer）
• 擴散策略
• CLIP（Contrastive Language-Image Pre-training）

相關術語

• VLA
• VLM

影片

• Machine Learning vs. Deep Learning vs. Foundation Models: IBM Technology

維基百科

• 基础模型