Pelican-VL
用於人形機器人、從 3B 到 72B 的開源具身視覺語言模型
授權條款
Apache-2.0
概述
Pelican-VL 1.0 是一系列開源的具身視覺語言模型(VLM)(3B、7B、72B 參數),以 Qwen2.5-VL 為基礎打造,使用 1000 顆以上的 A800 GPU,以來自 2.31 億張影像與 2.9 萬小時影片的 40 億以上 token 進行訓練。這個模型提出了 Deliberate Practice Policy Optimization(DPPO),這是一種後設認知的 RL-Refine-Diagnose-SFT 元迴圈,相較於基礎模型達到 20.3% 的效能提升。它是第一個在接觸密集的觸覺操作中閉合感覺運動迴路的視覺語言模型,能在真實世界的機器人任務中預測並持續修正抓取力。
Pelican-VL 1.0 是一系列專為具身 AI 打造的開源多模態視覺語言基礎模型,參數規模為 3B、7B 與 72B。它由 Beijing Innovation Center of Humanoid Robotics(X-Humanoid)的 WFM System Group 開發,建構在 Qwen2.5-VL 架構之上,並以龐大的資料集訓練:2.31 億張影像、29,000 小時的影片,以及超過 40 億個跨模態標註 token。訓練在由 1000 顆以上 NVIDIA A800 GPU 組成的叢集上進行,每個檢查點都需要超過 50,000 GPU 小時。
這個模型的核心創新是 Deliberate Practice Policy Optimization(DPPO),一種受到人類透過刻意練習學習之方式啟發的後設認知訓練框架。DPPO 以元迴圈的形式運作,在用於探索式接地的強化學習(RL)階段,以及針對已辨識弱點進行定向補強的監督式微調(SFT)階段之間交替進行。推論時,Pelican-VL 會以結構化文字產生中間的視覺接地與可供性結果,並透過以可供性為基礎的函式呼叫方式,有效地將視覺推理、具身規劃與功能執行解耦。
Pelican-VL 已在三個關鍵領域中,透過大量的真實世界機器人實驗驗證:接觸密集的觸覺操作(它是第一個在此閉合感覺運動迴路的視覺語言模型)、針對新物體取放作業的任務導向可供性推理,以及透過多代理系統進行的長時程規劃,讓單一大腦能控制多種機器人平台。這個模型會產生多視角的可供性地圖,以轉換成 3D 機器人動作,並以自適應力控制處理精細的物體操作。
為何重要
Pelican-VL 1.0 是具身 AI 的一個重要里程碑,因為它以前所未有的規模,在通用的視覺語言理解與真實世界的機器人操作之間搭起橋樑。現有的大多數視覺語言模型(VLM)擅長視覺問答,卻缺乏在物理互動上的接地;Pelican-VL 證明,大規模訓練結合有原則的後設認知學習框架(DPPO),能產生真正針對物理、可供性與力動態進行推理的模型。X-Humanoid 開源了最高 72B 參數的模型,連同訓練程式碼與資料集,讓更廣大的機器人社群能在過去只存在於專有圍牆之內的基礎上繼續發展。
解決的問題
目前的視覺語言模型雖然在評測基準上取得亮眼成績,但根本上缺乏真實世界機器人部署所需的物理接地、可供性推理與力感知操作能力。Pelican-VL 以大規模多模態預訓練結合 DPPO 元迴圈來應對這些挑戰:DPPO 會系統性地診斷各維度的弱點,並產生針對性的訓練資料加以補強,進而產生一個不只理解所見之物、還能推理如何與世界進行物理互動的模型。
重點
- 最大的開源具身視覺語言模型(VLM),擁有 72B 參數,以來自 2.31 億張影像與 2.9 萬小時影片的 40 億以上 token 訓練
- 新穎的 DPPO 訓練框架相較於基礎模型提升 20.3%,並以 10.6% 的差距勝過 100B 等級的競爭者
- 第一個在接觸密集的觸覺操作中閉合感覺運動迴路的視覺語言模型,能在真實世界中進行力自適應抓取
- 跨平台泛化:單一模型透過以可供性為基礎的函式呼叫,控制多種機器人平台
- 完全開源:推論程式碼、SFT/LoRA 訓練流程、3B/7B/72B 檢查點與評估腳本,採用 Apache 2.0 授權
適用對象
- 開發自主操作、抓取與導航系統的機器人研究人員
- 為多種機器人平台尋找開源具身大腦模型的人形機器人公司
- 從事具備可供性預測之視覺-語言-動作(VLA)流程的具身 AI 工程師
- 研究多模態學習、機器人強化學習或後設認知訓練框架的學術團隊
限制
- 72B 模型需要多 GPU 推論(8 顆 GPU),訓練時每個檢查點耗用超過 50,000 A800 GPU 小時
- 以函式呼叫產生動作,而非直接生成軌跡;需要下游的運動規劃堆疊
- 九個維度的評估分類,可能無法完整涵蓋真實世界具身 AI 的所有面向
- 與居家/工業場景的完整多樣性相比,真實世界實驗涵蓋的操作情境相對有限