FineART
1,718 時間のすべてのステップに言語ラベルが付いた双腕ロボットデータセット
ライセンス
- dataset: CC BY 4.0
- training code (in LeRobot): Apache 2.0
ライセンスが分かれています。FineARTデータセットはCC BY 4.0です。FineART-VLAのモデルの重みは、PaliGemmaとπ₀.₅から引き継いだGemmaライセンスに従い、GoogleのGemma Terms of Useとその利用制限が適用されます。LeRobot内の学習コードはApache-2.0です。2026-10-29に確認。
概要
FineART は、Scale AI と Hugging Face の LeRobot チームが 2026年10月29日に公開したオープンな双腕マニピュレーションデータセットです。151 のタスクにわたる 40,543 件の遠隔操作エピソード、1,718 時間分を収録しており、すべて ALOHA 型の双腕ワークステーションである Trossen Stationary AI で記録されています。特徴はラベル付けで、すべてのエピソードが短いステップに分割され、それぞれに人間が書いた説明(合計 533,913 件)が付いているため、モデルはタスクだけでなく、それを完了させるステップの順序まで学習できます。データセットは Hugging Face で CC BY 4.0 のもと、LeRobot 独自の形式で公開されています。
このリリースには FineART-VLA も含まれます。これは、まず次のステップを言葉で予測し、それから実行するビジョン言語アクション(VLA)モデルです。重みは Hugging Face で公開され、学習コードは LeRobot に含まれています。両者は論文 FineART: Fine-Grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation で説明されています。
各エピソードはタスクを最初から最後まで試みた完全な記録で、平均の長さは約 2.5 分です。人間のオペレーターがリーダー・フォロワー方式で遠隔操作して記録しました。ロボットの状態と行動はそれぞれ 14 個の数値です(アームごとに 7 個:5 つの関節角度と ALOHA2 グリッパーの 2 つの値)。各エピソードは 4 台のカメラで撮影されます。俯瞰視点、低い視点、そして左右の手首にそれぞれ 1 台で、360 × 640、30 fps の動画として保存されています。全体で 1 億 8,550 万フレームが LeRobot データセット形式 v3.0 で提供されており、LeRobotDataset で読み込むことも、すべてをダウンロードせずにストリーミングすることもできます。
時間の約 77% は日常的なピック・アンド・プレースと仕分けです。残りの 23% は接触の多いスキルで、布の折りたたみや取り扱い、道具の使用、ケーブルの配線、コンプライアントな位置合わせ、精密な挿入を含みます。各エピソードには、実行の質と成否に関するメモを含むエピソード全体の要約と、開始時刻付きで連続し重なりのないステップラベルが付いています。ラベルは 1 エピソードあたり約 13 件で、例えば「Put the right black candle holder on the shelf」のようなものです。あるチームがエピソードを収集し、別のチームが言語モデルの助けを借りずにラベルを書き、さらに 3 つ目のチームが監査しました。
FineART-VLA は Physical Intelligence の π₀.₅(openpi)を出発点としています。SigLIP 画像エンコーダーを備えた 20 億パラメータの Gemma 視覚言語バックボーンと、フローマッチングで 50 ステップのアクションチャンクを出力する独立した 3 億パラメータの行動エキスパートで構成されます。1 つのポリシーが両方の役割を担い、次のステップを言語で予測し(System 2)、そのステップの連続的な行動を生成します(System 1)。LeRobot の FineART-VLA ガイドでは、チェックポイントの読み込み、自然な言葉によるステップごとの誘導、lerobot-train を使った独自のステップラベル付きデータでの微調整を説明しています。lerobot-annotate を使えば、任意の LeRobot データセットにステップラベルを追加できます。
重要な理由
多くのオープンなロボットデータセットはエピソードごとに指示を 1 つしか与えないため、モデルは長いタスクがどのように分解されるかを見ることがありません。FineART はすべてのエピソードのすべてのステップにラベルを付けており、著者らは 3,400 回の実機評価でその効果を示しています。ステップラベルで中間学習すると、空間的な指示に従うタスクの成功率は 32% から 100% に上がり、人がステップごとに誘導する未知の長期タスクでは 16% から 76% に上がりました。別のロボットである I2RT の YAM アームでは、FineART から始めることで約 10 分の 1 の微調整データでベースラインと同等の性能に達しました。データ、重み、学習コードはすべてオープンです。
解決する課題
複数ステップの指示に従うようロボットを学習させるには、各ステップに名前と時刻が付いたデモンストレーションが必要です。それを人手で収集してラベル付けするのは時間もコストもかかり、既存の双腕データセットは記録時間の一部にしかステップのラベルを付けていません。FineART は、広く使われている 1 つの双腕プラットフォームで完全にラベル付けされた 1,718 時間を提供し、それを使った学習と、新しいデータを同じ方法でラベル付けするためのツールを LeRobot で提供します。
主なポイント
- Trossen Stationary AI(ALOHA スタイル)の双腕ロボットで記録した、40,543 件の遠隔操作エピソード、1,718 時間、151 タスク
- 開始時刻付きの人手によるステップラベル 533,913 件で、記録時間の 100% をカバーし、1 エピソードあたり約 13 件
- 約 77% が日常的なピック・アンド・プレースと仕分け、23% が接触の多い作業:布、道具、ケーブル、位置合わせ、挿入
- π₀.₅ をベースにした FineART-VLA は、次のステップを言語で予測してから行動する。重みと LeRobot の学習コードを公開
- 著者らのテストでは、ステップラベルでの学習により空間指示の成功率が 32% から 100% に上がり、新しいロボットでの微調整データが約 10 分の 1 に減った
対象
- 長い多段階タスクで視覚・言語・行動ポリシーを学習させるロボット学習の研究者
- 事前学習データと出発点となるチェックポイントを求める、ALOHA スタイルの双腕ロボットを持つチーム
- 自分のデータセットにステップのラベルを付け、階層型ポリシーを学習させたい LeRobot ユーザー
- タスク分解、言語のグラウンディング、異なる身体性間の転移を研究する研究者
制限事項
- 単一の身体性:すべて Trossen Stationary AI で記録されているため、YAM の実験が示すように、他のロボットには適応が必要
- モデルはデータセットのライセンスの対象外:FineART-VLA は PaliGemma と π₀.₅ から継承した Gemma ライセンスとその利用制限に従う
- 重みは約 9.35 GB あり、テキストトークナイザーの Hugging Face リポジトリでは Google の規約への同意が必要になる場合がある
- タスクの構成が偏っている:記録時間の約 77% がピック・アンド・プレースと仕分けのため、接触の多いロングテールにはタスク別の重み付きサンプリングが必要
- 成功率は、著者ら自身のハードウェアと手順による評価に基づく