FineART

雙臂機器人資料集，1,718 小時中的每一步都有語言標註

授權條款

• dataset: CC BY 4.0
• training code (in LeRobot): Apache 2.0

混合授權。FineART 資料集採用 CC BY 4.0。FineART-VLA 模型權重採用 Gemma 授權，適用 Google 的 Gemma 使用條款及其使用限制，這些繼承自 PaliGemma 與 π₀.₅。LeRobot 中的訓練程式碼採用 Apache-2.0。查核日期：2026-10-29。

概述

FineART 是 Scale AI 與 Hugging Face 的 LeRobot 團隊於 2026 年 10 月 29 日發布的開放雙臂操作資料集。它包含 40,543 個遠端操作片段，共 1,718 小時、151 項任務，全部在 Trossen Stationary AI 上錄製，這是一款 ALOHA 風格的雙臂工作站。它的特色在於標註：每個片段都被切分成短步驟，每一步都有人工撰寫的描述，總計 533,913 則，因此模型不只能學到任務本身，還能學到完成任務的步驟順序。資料集以 LeRobot 自有格式、CC BY 4.0 授權放在 Hugging Face 上。

這次發布還包含 FineART-VLA，這是一個視覺-語言-動作模型，會先以文字預測下一步，再加以執行。其權重放在 Hugging Face 上，訓練程式碼則是 LeRobot 的一部分。兩者都在論文 FineART: Fine-Grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation 中說明。

每個片段都是一次完整的任務嘗試，平均長約 2.5 分鐘，由人類遠端操作員以主從（leader-follower）配置錄製。機器人的狀態與動作是 14 個數值（每隻手臂七個：五個關節角度與兩個 ALOHA2 夾爪的夾爪數值），每個片段由四台攝影機拍攝：鳥瞰視角、低視角與兩隻手腕上各一台，儲存為 360 × 640、30 fps 的影片。整個發布共有 1 億 8,550 萬幀，採用 LeRobot 資料集格式 v3.0，因此可以用 LeRobotDataset 載入，也能以串流方式讀取而不必下載全部內容。

約 77% 的時數是日常的取放與分類；其餘 23% 涵蓋接觸密集的技能：折疊與處理紡織品、使用工具、佈線、順應式對位與精密插入。每個片段都附有整段摘要，包含執行品質與成功與否的說明，另有連續且互不重疊、附開始時間的步驟標註，每個片段約 13 則，例如「把右邊的黑色燭台放到架子上」。一個團隊負責收集片段，第二個團隊在不借助語言模型的情況下撰寫標註，第三個團隊負責稽核。

FineART-VLA 以 Physical Intelligence 的 π₀.₅（openpi）為起點：一個 20 億參數的 Gemma 視覺語言骨幹，搭配 SigLIP 影像編碼器，以及另一個 3 億參數的動作專家，以流匹配輸出 50 步的動作區塊。同一個策略包辦兩項工作：先以語言預測下一步（System 2），再為該步驟產生連續動作（System 1）。LeRobot 的 FineART-VLA 指南 說明如何載入檢查點、以白話逐步引導它，以及用 lerobot-train 在你自己的步驟標註資料上微調；lerobot-annotate 則可為任何 LeRobot 資料集加上步驟標註。

為何重要

多數開放機器人資料集每個片段只給一條指令，因此模型從來看不到長任務如何拆解。FineART 為每個片段的每一步都加上標註，作者在 3,400 次真實機器人評估中展示了這帶來的效益：以步驟標註進行中期訓練後，空間指令任務的成功率從 32% 提升到 100%；在一項未見過、由人逐步引導的長時程任務上，從 16% 提升到 76%。在另一款機器人 I2RT 的 YAM 手臂 上，以 FineART 為起點，只需約十分之一的微調資料就能達到基準線的表現。資料、權重與訓練程式碼全部開放。

解決的問題

訓練機器人遵循多步驟指令，需要每一步都有名稱與時間標記的示範。以人工收集並標註這類資料既慢又昂貴，而現有的雙臂資料集只為部分時數標註步驟。FineART 在一個廣泛使用的雙臂平台上提供 1,718 小時完整標註的資料，並在 LeRobot 中提供工具，可用它來訓練，也能以相同方式標註新資料。

重點

• 在 Trossen Stationary AI（ALOHA 風格）雙臂機器人上錄製的 40,543 個遠端操作片段，共 1,718 小時、151 項任務
• 533,913 則人工撰寫、附開始時間的步驟標註，涵蓋 100% 的時數，每個片段約 13 則
• 約 77% 是日常取放與分類，23% 是接觸密集的工作：紡織品、工具、線纜、對位與插入
• 以 π₀.₅ 為基礎的 FineART-VLA 會先以語言預測下一步再行動；權重與 LeRobot 訓練程式碼皆已釋出
• 在作者的測試中，步驟標註訓練讓空間指令成功率從 32% 提升到 100%，並讓新機器人所需的微調資料減少約十倍

適用對象

• 在長時程、多步驟任務上訓練視覺-語言-動作（VLA）策略的機器人學習研究人員
• 擁有 ALOHA 風格雙臂機器人、想要預訓練資料與起始檢查點的團隊
• 想為自己的資料集加上步驟標註並訓練階層式策略的 LeRobot 使用者
• 研究任務分解、語言接地（language grounding）與跨形態遷移的研究人員

限制

• 單一形態：所有資料都在 Trossen Stationary AI 上錄製，其他機器人需要調適，YAM 實驗也顯示了這一點
• 模型不採用資料集的授權：FineART-VLA 沿用 Gemma 授權，以及繼承自 PaliGemma 與 π₀.₅ 的使用限制
• 權重約 9.35 GB，文字分詞器所在的 Hugging Face 儲存庫可能需要先同意 Google 的條款
• 任務組成不平衡：約 77% 的時數是取放與分類，因此接觸密集的長尾任務需要依任務加權取樣
• 成功率數據來自作者以自己的硬體與流程所做的評估