FiftyOne が LeRobot データセットを直接読み込み可能に、エピソード横断の検索にも対応
- 出典: Voxel51 and Hugging Face
- 著者: Open Source Robotics
- 公開日: 2026-10-05
- カテゴリ: research
Voxel51 のオープンソースのデータセット整理ツール FiftyOne が、LeRobot v3 データセットを変換も動画のコピーもせずに開けるようになりました。各エピソードはカメラ映像、状態、行動を同期させて再生でき、絞り込み、テキストや類似度による検索、新しい LeRobot データセットとしての書き出しができます。対応は v3 のみで、ローダーは FiftyOne 1.22.0 で提供されました。
Voxel51 のオープンソースのデータセット整理ツール FiftyOne が、LeRobot v3 データセットをそのまま開けるようになりました。データセットのフォルダーを指定するだけで、各エピソードが再生・絞り込み・検索のできる 1 つのサンプルになり、形式の変換は不要で、動画の再エンコードやコピーも行われません。Voxel51 と Hugging Face のエンジニアが 10 月 5 日にこの対応を紹介しました。ローダー自体は 9 月 12 日の FiftyOne 1.22.0 で提供されており、リリースノートには新しい LeRobotDataset 型とエピソードビューアーとして記載されています。
エピソードの見え方
インポート時に読むのはデータセットのメタデータファイルだけです。各サンプルはポインターで、そのエピソードの状態と行動が入っている Parquet ファイルの行と、各カメラの MP4 の該当する時間範囲を指します。アプリでは各カメラに専用のタイルが割り当てられ、「State & Action」タイルが各関節の値を 1 フレームずつ、動画に合わせて表示します。各エピソードのロボットの種類、タスク、長さ、フレームレートは通常のフィールドになるため、「10 秒を超える SO-101 のエピソードすべて」はスクリプトではなく絞り込み条件で済みます。インポートとフィールドについては FiftyOne のドキュメントに説明があります。
実例
今回の発表には 497 エピソードのサンプルデータセットが付いています。LeRobot Community Dataset v3 から切り出したもので、50 種類のロボットそれぞれについて約 10 エピソードを収めています。各エピソードには Qwen3-VL-Embedding-2B による動画の埋め込みが付いており、等間隔に取った最大 32 フレームから計算されています。整理の機能はこれに支えられています。文章による説明でエピソードを検索し、選んだエピソードに最も似たものを探し、各エピソードがどれだけ珍しいか、どれだけ典型的かを数値化することで、学習の前にほぼ重複したデータや外れ値を見つけられます。
データを取り出す
絞り込んだ選択を学習に渡す方法は 3 つあります。ポインターを通じて行をその場で読む、選んだエピソード番号を LeRobot 自身の LeRobotDataset ローダーに渡す、選択を新しい独立した LeRobot v3 データセットとして書き出す、のいずれかです。データをコピーするのは書き出しだけです。
最初に確認すること
- 読めるのは LeRobot v3 だけです。古いデータセットは先に LeRobot のツールで変換する必要があります。 - サンプルは元のファイルを指しているため、データセットを移動または変更した場合はインポートし直す必要があります。 - エピソード番号は元のデータセットごとに 0 から始まります。複数のデータセットをまとめて読み込む場合は、書き出しや学習の前にデータセット名で絞り込み、スキーマが異なるため元のデータセットごとに書き出してください。 - LeRobot データセットを Hugging Face Hub から直接読み込むには修正が必要で、これは最新リリース(1.22.1)より後の 10 月 5 日にマージされました。次のバージョンまではローカルフォルダーを使うのが確実です。
重要な理由
ロボット学習のデータセットの多くは規模で評価されます。中身を見るのに時間がかかるからです。エピソードは数千、それぞれに複数のカメラがあり、どれがほぼ同じ内容で、どれが壊れていて、どれが珍しい場面を含むのかをすばやく確かめる方法がありません。LeRobot 形式をその場で読み、どのエピソードも関節の値と並べて再生でき、典型的か珍しいかでエピソードを並べ替えられるツールがあれば、学習のたびに確認できるほど点検の手間が小さくなります。低価格のアームで記録されたコミュニティのデータセットにも、画像データセットが何年も前から使ってきた整理ツールが使えるようになります。
主なポイント
- FiftyOne 1.22.0 以降は 1 回の呼び出しで LeRobot v3 データセットを読み込めます。インポート時に変換、再エンコード、コピーは行われません
- 各エピソードが 1 つのサンプルになり、各カメラは専用タイルで再生され、関節の状態と行動が動画に合わせて 1 フレームずつ表示されます
- ロボットの種類、タスク、長さ、フレームレートは検索できるフィールドなので、エピソードの選択はスクリプトではなく絞り込みで済みます
- 動画の埋め込みを加えると、テキストでの検索、似たエピソードの照合、珍しさや典型度の数値化ができます
- 選んだデータは、その場で読む、LeRobot 自身のローダーを使う、LeRobot v3 データセットとして書き出す、のいずれかで学習に戻せます
- 対応は v3 のみで、Hugging Face Hub からの読み込みには 1.22.1 より後にマージされた修正が必要です
オープンソースの観点
FiftyOne は Apache-2.0 ライセンスのオープンソースで、LeRobot への対応はこのオープンソースのパッケージに含まれており、Voxel51 の商用製品 FiftyOne Enterprise の内側にあるわけではありません。サンプルデータセットは Apache-2.0 で Hugging Face Hub に公開されており、LeRobot コミュニティが提供した記録を基にしています。ただしリリースノートでは、クラウドストレージからの LeRobot データセットの読み込みが別項目として挙げられています。これを前提に計画する前に、Enterprise の機能一覧と照らし合わせて確認すべき部分です。
関連技術
- FiftyOne
- LeRobot
- LeRobot dataset v3
- Qwen3-VL-Embedding
- Parquet
- Hugging Face Hub
関連プロジェクト
リンク
- 出典: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis