Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

VLAb

在機器人資料集上預訓練 VLA 模型的精簡函式庫

授權條款

Apache-2.0

概述

一個精簡的函式庫,用於在機器人資料集上預訓練視覺語言動作(VLA)模型。它衍生自 LeRobot,著重於跨多 GPU 配置與 SLURM 叢集的高效預訓練流程。它是 SmolVLA 的官方重現套件,提供幾乎相同的資料集、設定與流程。特色包括簡化的單一指令安裝、透過 Accelerate 支援分散式訓練,以及可設定取樣策略的多資料集訓練。包含 340 多個精選的機器手臂示範資料集,聚焦於桌面操作任務。

VLAb 是衍生自 LeRobot 的精簡函式庫,專注於在機器人資料集上預訓練視覺語言動作(VLA)模型,並作為 SmolVLA 的官方重現套件。它提供單一指令安裝、透過 HuggingFace Accelerate 在多 GPU 配置與 SLURM 叢集上的分散式訓練支援,以及 340 多個聚焦於桌面操作的精選機器手臂示範資料集。這個函式庫把原本由資料集載入、前處理、模型設定與分散式訓練組成的複雜多元件流程,簡化成一個可攜且可重現的套件。VLAb 讓研究人員無論身處何種運算環境,都能從頭預訓練或重現 VLA 基礎模型。

為何重要

VLAb 簡化了 VLA 模型開發中最耗運算的部分:預訓練。它衍生自 LeRobot,提供最佳化的多 GPU 與 SLURM 訓練工作流程,讓大規模預訓練視覺-語言-動作模型變得可行。

解決的問題

預訓練 VLA 模型需要管理跨多個 GPU 與運算叢集的分散式訓練。VLAb 提供能高效完成這件事的基礎設施,減輕大規模機器人模型訓練的工程負擔。

重點

  • 精簡的函式庫,用於在機器人資料集上預訓練 VLA 模型
  • 衍生自 LeRobot,專注於高效的預訓練工作流程
  • 開箱即支援多 GPU 與 SLURM 叢集
  • 為大規模訓練最佳化的資料載入與訓練迴圈
  • 與 HuggingFace 生態系整合,方便分享模型

適用對象

  • 預訓練 VLA 基礎模型的團隊
  • 將機器人模型訓練擴展到叢集運算的研究人員
  • 以 LeRobot 為基礎、需要訓練基礎設施的開發者
  • 使用 SLURM 叢集訓練大型機器人模型的實驗室

限制

  • 專注於預訓練:微調與部署需另行處理
  • 需要多 GPU 環境才能獲得明顯加速
  • 衍生自 LeRobot:可能落後於原專案的變更
  • SLURM 整合假設特定的叢集配置

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。