Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

LeRobot 现可直接从对象存储中的 LanceDB 表进行训练

  • 来源: Hugging Face and LanceDB
  • 作者: Open Source Robotics
  • 发布日期: 2026-09-24
  • 类别: research

LeRobot 的数据集层现已原生读取 LanceDB 表,训练可以带着完整的全局打乱直接从对象存储流式读取,而无需先下载。在整个 DROID 上,远程运行比本地副本快了 33 分钟,损失完全一致。该支持已进入 LeRobot 主分支,但尚未出现在正式发布版本中。

更正 — 2026年10月29日。 本文早前版本称 DROID 约有 2760 万帧。所链接的文章并未给出这一数字,因此已将其删除。

---

LeRobot 现在可以直接基于以 LanceDB 表存储的数据集进行训练,从对象存储中只读取每个批次所需的字节,而无需先下载整个数据集。来自 Hugging Face 和 LanceDB 的工程师于9月24日介绍了这项集成,距该支持本身于8月28日合并进 LeRobot 主分支已过去一个月。Lance 是 LeRobot 数据集层原生读取的第一种替代存储格式,录制和训练代码都无需任何改动:现有的 lerobot-train 命令只需指向一个 Lance 表,便会自行选择合适的加载器。

实际效果是,一个大到无法复制到每台训练机器上的数据集可以留在原处。指向 Hugging Face Storage Bucket 时,一次在两块 H100 上进行的 SmolVLA 训练从存储桶读取数据的速度与从本地 NVMe 副本读取时相同,均为每秒 212 个样本,损失曲线也完全一致。更大规模的测试使用了完整的 DROID — 369 GB 视频 — 从远程对象存储读取,并对所有帧进行全局打乱。在两次除此之外完全相同、在八块 H100 上运行 10,000 步的训练中,LanceDB 运行用时 1 小时 27 分钟完成,而标准读取器基于本地副本的运行用时 2 小时,且该本地副本还需先下载 384 GB。标准运行有 37% 的时间在等待数据;LanceDB 运行则不到 2%。最终损失在小数点后四位上一致。

论证的后半部分关乎数据整理。由于训练数据本身已是 LanceDB 表,嵌入向量、派生评分和全文索引可以作为列存放在训练器读取的同一行上,因此搜索和筛选数据无需将其导出到单独的向量数据库。作者用 SigLIP2 对 610,403 个 DROID 帧进行了嵌入,并结合视觉查询与 SQL 查询挖掘出没有标签的行为 — 在不同家庭中移动织物的帧,而其任务文本从未提及这一点。还可以直接从表中在 Foxglove 里查看各个片段。

对 DROID 的一次完整扫描得出了三项发现,无论你用什么进行训练都值得了解:OpenPI 中的空闲过滤器会移除数据集的 11.66%,并且将结果长度硬编码而非计算得出;默认的 80/20 划分会把每栋建筑和每位数据采集者同时放入训练集和验证集,因此存在数据泄漏;而成功的片段反而比失败的片段动作更不平滑,这意味着常用的平滑度过滤器会丢弃好数据。在 LIBERO 上(可在仿真中衡量成功率),故意损坏 30% 的演示数据,再用三条表查询将其移除,所得策略优于在混杂数据集上训练的策略。

有两点需要说明。原生读取器已进入 LeRobot 主分支,但尚未包含在打标签的正式版本中 — 最新版本 v0.6.1 早于该功能 — 因此目前需要从源码安装。此外,在不重写数据的情况下添加计算列这一步骤是整理工作流的基础,但它被描述为 LanceDB Enterprise 的功能;LeRobot 本身依赖的是开源读取器和 Lance 格式。作者已发布一个交互式演示,可针对完整的 DROID 表运行这些查询。

为何重要

机器人学习数据集的体量,已经超出了把它们复制到每台训练机上的习惯做法:单是 DROID 就有几百 GB 的视频。在不损失 GPU 吞吐与打乱质量的前提下从对象存储流式读取,省掉了这一复制步骤;而把检索、分数和嵌入放在训练器读取的同一张表上,则让数据整理变成一次查询,而不是一条导出流水线。一次扫描 DROID 得出的发现——存在泄漏的默认划分、方向反了的质量过滤器——说明了为什么值得把数据整理变得廉价。

要点

  • LeRobot 现已原生读取以 LanceDB 表存储的数据集;录制与训练代码不变,lerobot-train 会自行选择加载器
  • 训练可以从 Hugging Face 存储桶或其他对象存储流式读取,对每一帧做全局打乱,且无需下载
  • 在整个 DROID 上,远程 LanceDB 运行用时 1 小时 27 分,本地副本运行用时 2 小时,损失完全一致,等待数据的时间占比为 1.7% 而非 37.4%
  • 嵌入、分数和索引可以作为列存放在训练表上,数据整理与挖掘因此是查询而不是导出
  • 对 DROID 的一次扫描发现,默认的训练/验证划分存在泄漏,而平滑度过滤器会删掉好数据
  • 该支持已进入 LeRobot 主分支但尚未进入正式发布,用于数据整理的列回填是 LanceDB Enterprise 功能

开源视角

这项集成就在 LeRobot 本身之中,采用其 Apache-2.0 许可,于 8 月 28 日合并进主分支,它读取的 Lance 格式也是开源的。需要留意的是它与 LanceDB 商业产品之间的界线:在不重写表的情况下新增计算列——数据整理流程所依赖的那一步——被呈现为 LanceDB Enterprise 的功能。从 Lance 表训练并查询这些表并不依赖它。

相关技术

  • LeRobot
  • LanceDB
  • Lance
  • SmolVLA
  • DROID
  • Foxglove
  • Hugging Face Storage Buckets

链接

  • 来源: https://huggingface.co/blog/CarolinePascal/how-to-train-your-robot-the-lancedb-edition

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。