FiftyOne 现可直接读取 LeRobot 数据集,并支持跨回合搜索
- 来源: Voxel51 and Hugging Face
- 作者: Open Source Robotics
- 发布日期: 2026-10-05
- 类别: research
Voxel51 的开源数据集整理工具 FiftyOne 现在可以直接打开 LeRobot v3 数据集,无需转换格式,也不复制视频。每个回合都能与相机画面、状态和动作同步回放,然后进行筛选、按文本或相似度搜索,并导出为新的 LeRobot 数据集。目前只支持 v3;加载器随 FiftyOne 1.22.0 发布。
Voxel51 的开源数据集整理工具 FiftyOne 现在可以原样打开 LeRobot v3 数据集。只需指向数据集文件夹,每个回合就成为一个可以回放、筛选和搜索的样本,无需格式转换,也不会重新编码或复制任何视频。Voxel51 和 Hugging Face 的工程师于 10 月 5 日介绍了这项支持;加载器本身已在 9 月 12 日随 FiftyOne 1.22.0 发布,在发布说明中列为新的 LeRobotDataset 类型,并附带回合查看器。
一个回合是什么样子
导入时只读取数据集的元数据文件。每个样本是一个指针:指向 Parquet 文件中保存该回合状态和动作的行,以及每台相机 MP4 中对应的时间窗口。在应用中,每台相机有自己的面板,“State & Action”面板逐帧显示每个关节的数值,并与视频保持同步。每个回合的机器人类型、任务、时长和帧率都成为普通字段,因此“所有超过十秒的 SO-101 回合”只是一个筛选条件,而不必写脚本。FiftyOne 文档说明了导入方式和各个字段。
完整示例
这次发布附带一个 497 个回合的示例数据集,取自 LeRobot Community Dataset v3:50 种机器人类型,每种约十个回合。每个回合都带有 Qwen3-VL-Embedding-2B 生成的视频嵌入,由最多 32 帧等间隔画面计算得出。整理功能正是建立在它之上:用文字描述搜索回合,找出与选定回合最相似的回合,并按“有多罕见”或“有多典型”给每个回合打分,从而在训练前找出近似重复和异常的数据。
把数据取回来
筛选出的数据可以通过三种方式用于训练:通过指针原地读取对应的行,把选中的回合编号传给 LeRobot 自己的 LeRobotDataset 加载器,或者把选中的部分导出为一个新的、独立的 LeRobot v3 数据集。只有导出会复制数据。
先确认这几点
- 只读取 LeRobot v3;更早的数据集需要先用 LeRobot 自带的工具转换。 - 样本指向源文件,因此数据集被移动或修改后需要重新导入。 - 每个源数据集的回合编号都从零重新开始。同时加载多个数据集时,应先按数据集名称筛选再导出或训练,并且每次只导出一个源数据集,因为它们的结构各不相同。 - 直接从 Hugging Face Hub 加载 LeRobot 数据集需要一个修复,它在 10 月 5 日合并,晚于最新版本(1.22.1),因此在下一个版本发布前,使用本地文件夹更稳妥。
为何重要
大多数机器人学习数据集都以规模论优劣,因为深入查看其内容很慢:成千上万个回合,每个回合有多台相机,却没有办法快速看出哪些几乎重复、哪些已经损坏、哪些记录了少见的情况。一个能原地读取 LeRobot 格式、回放任意回合并同时显示关节数值、还能按典型或罕见程度给回合排序的工具,让检查的成本低到可以在每次训练前都做一遍。它也让在低成本机械臂上录制的社区数据集,用上了图像数据集多年来一直拥有的整理工具。
要点
- FiftyOne 1.22.0 及之后的版本一次调用即可加载 LeRobot v3 数据集;导入时不转换、不重新编码、不复制
- 每个回合是一个样本:每台相机在各自的面板中播放,关节状态和动作逐帧显示,与视频同步
- 机器人类型、任务、时长和帧率都是可查询的字段,选择回合只需筛选,不必写脚本
- 加入视频嵌入后,可以用文本搜索回合、匹配相似回合,并按罕见或典型程度打分
- 选中的数据可以原地读取、通过 LeRobot 自己的加载器,或导出为 LeRobot v3 数据集后用于训练
- 只支持 v3,而且从 Hugging Face Hub 加载需要一个在 1.22.1 版本之后才合并的修复
开源视角
FiftyOne 以 Apache-2.0 许可证开源,对 LeRobot 的支持就在这个开源软件包里,而不是放在 Voxel51 的商业产品 FiftyOne Enterprise 之后。示例数据集以 Apache-2.0 许可证发布在 Hugging Face Hub 上,数据来自 LeRobot 社区贡献的录制内容。不过,发布说明把“从云存储加载 LeRobot 数据集”单独列出;在围绕这一点做规划之前,应先对照 Enterprise 的功能列表确认。
相关技术
- FiftyOne
- LeRobot
- LeRobot dataset v3
- Qwen3-VL-Embedding
- Parquet
- Hugging Face Hub
相关项目
链接
- 来源: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis