SmolVLA
可在消費級硬體上執行的 450M 參數 VLA 模型
授權條款
Apache-2.0
概述
HuggingFace 推出的精簡型 450M 參數視覺語言動作模型,可在消費級硬體上執行。SmolVLA 僅以開源 LeRobot 社群資料集訓練,效能可與大 10 倍的 VLA 相當(LIBERO 基準測試 87.3%,與 3.3B 的 π₀ 相當)。它具備非同步推論以提高控制頻率,可在單一 GPU 上訓練,並可部署在消費級 GPU 甚至 CPU 上。以 SmolVLM-2 與 SigLIP 視覺編碼器打造,專為平價且容易取得的機器人研究而設計。
SmolVLA 是 HuggingFace 推出的精簡型 450M 參數視覺語言動作模型,可在消費級硬體上執行,且僅以開源 LeRobot 社群資料集訓練。儘管體積小,SmolVLA 的效能可與大 10 倍的 VLA 相當(LIBERO 基準測試 87.3%,與 3.3B 的 pi0 相當)。它以 SmolVLM2-500M 打造,搭配 SigLIP 視覺編碼器與 SmolLM2 語言解碼器,並使用約 100M 參數的流匹配 Transformer 作為動作專家。主要創新包括視覺 token 縮減(64 個 token 對比 1024 個)、以跳層將運算成本減半,以及非同步推論,使完成速度加快 30%、任務吞吐量提高 2 倍。
為何重要
SmolVLA 證明機器人基礎模型不需要數十億個參數。它只有 450M 參數,就能在消費級硬體上執行並達到具競爭力的效能,而且完全以透過 LeRobot 由社群收集的開源資料訓練。
解決的問題
大多數 VLA 模型需要昂貴的 GPU 進行推論,限制了真實世界的部署。SmolVLA 小到可以在消費級硬體上執行,讓視覺語言動作模型對業餘愛好者、小型實驗室與邊緣部署情境而言變得實用。
重點
- 僅 450M 參數:可在消費級 GPU 甚至筆電上執行推論
- 僅以開源 LeRobot 社群資料集訓練
- 效能可與 10 倍大的模型競爭
- 原生支援 HuggingFace:容易下載、微調與部署
- 證明社群驅動的機器人基礎模型開發是可行的
適用對象
- 擁有消費級 GPU 的業餘愛好者
- 運算資源有限的小型研究實驗室
- LeRobot 社群成員
- 首次探索 VLA 模型的開發者
限制
- 模型容量較小,限制了在複雜任務上的效能
- 與大型模型相比,訓練所用的社群資料有限
- 在需要長時程規劃的任務上可能表現不佳
- 相對較新:在多樣情境中的驗證較少