Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

SmolVLA

可在消費級硬體上執行的 450M 參數 VLA 模型

授權條款

Apache-2.0

概述

HuggingFace 推出的精簡型 450M 參數視覺語言動作模型,可在消費級硬體上執行。SmolVLA 僅以開源 LeRobot 社群資料集訓練,效能可與大 10 倍的 VLA 相當(LIBERO 基準測試 87.3%,與 3.3B 的 π₀ 相當)。它具備非同步推論以提高控制頻率,可在單一 GPU 上訓練,並可部署在消費級 GPU 甚至 CPU 上。以 SmolVLM-2 與 SigLIP 視覺編碼器打造,專為平價且容易取得的機器人研究而設計。

SmolVLA 是 HuggingFace 推出的精簡型 450M 參數視覺語言動作模型,可在消費級硬體上執行,且僅以開源 LeRobot 社群資料集訓練。儘管體積小,SmolVLA 的效能可與大 10 倍的 VLA 相當(LIBERO 基準測試 87.3%,與 3.3B 的 pi0 相當)。它以 SmolVLM2-500M 打造,搭配 SigLIP 視覺編碼器與 SmolLM2 語言解碼器,並使用約 100M 參數的流匹配 Transformer 作為動作專家。主要創新包括視覺 token 縮減(64 個 token 對比 1024 個)、以跳層將運算成本減半,以及非同步推論,使完成速度加快 30%、任務吞吐量提高 2 倍。

為何重要

SmolVLA 證明機器人基礎模型不需要數十億個參數。它只有 450M 參數,就能在消費級硬體上執行並達到具競爭力的效能,而且完全以透過 LeRobot 由社群收集的開源資料訓練。

解決的問題

大多數 VLA 模型需要昂貴的 GPU 進行推論,限制了真實世界的部署。SmolVLA 小到可以在消費級硬體上執行,讓視覺語言動作模型對業餘愛好者、小型實驗室與邊緣部署情境而言變得實用。

重點

  • 僅 450M 參數:可在消費級 GPU 甚至筆電上執行推論
  • 僅以開源 LeRobot 社群資料集訓練
  • 效能可與 10 倍大的模型競爭
  • 原生支援 HuggingFace:容易下載、微調與部署
  • 證明社群驅動的機器人基礎模型開發是可行的

適用對象

  • 擁有消費級 GPU 的業餘愛好者
  • 運算資源有限的小型研究實驗室
  • LeRobot 社群成員
  • 首次探索 VLA 模型的開發者

限制

  • 模型容量較小,限制了在複雜任務上的效能
  • 與大型模型相比,訓練所用的社群資料有限
  • 在需要長時程規劃的任務上可能表現不佳
  • 相對較新:在多樣情境中的驗證較少

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。