Play Data
- 又称: teleoperated play, unstructured play data
- 类别: Learning & autonomy › Learning from demonstration
- 标签: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning
在人类遥操作员不带固定任务地自由探索环境时录制的机器人交互数据,用于训练目标条件策略和长时程策略。
定义
玩耍数据(Play data)来自这样一种数据采集方式:人类操作员遥操作机器人,或者在某些工作中用自己的双手操作,随心所欲地与环境交互,而不是执行预先定义的任务。在一次玩耍会话中,操作员可能会以任意顺序打开抽屉、推动积木、拨动开关并拿起玩具。Corey Lynch 及其同事于 2019 年在他们关于从玩耍中学习潜在规划的工作中,把这一思想引入了机器人学习。
与任务演示相比,玩耍有几个实际优势。它采集成本低,因为不需要为每个片段重置场景或定义成功;它涵盖广泛的行为以及行为之间的过渡;而且它自然地包含了恢复和部分尝试。由于数据没有任务标签,它通常与后见重标注(hindsight relabeling)结合使用:录制中的任何窗口都可以被视为如何到达其结尾状态的一次演示,这就把无标签的玩耍转化为目标条件策略的训练数据。之后还可以为一部分窗口添加自然语言描述,以训练语言条件策略。
玩耍数据也有弱点。行为是多模态的,因为同样的起点和目标可能以不同方式连接起来,这促使方法转向能够表示多种模态的潜变量策略或基于扩散的策略。覆盖范围取决于操作员,因此很少访问的状态学得很差。一些方法录制人类用自己的双手玩耍,这比遥操作更快,并用这些数据学习高层规划,再由一个用较少遥操作数据训练的、特定于机器人的策略来执行。
为何重要
为每项技能采集特定任务的演示无法规模化。玩耍数据让一次自由交互会话同时支持许多任务,它已成为目标条件、语言条件和长时程模仿学习的常用基础。
主要应用
- 训练目标条件操作策略
- 结合后见标注的语言条件模仿学习
- 通过串联子目标完成的长时程任务
- 预训练潜在规划或技能表示
- 多任务桌面操作基准
实际应用
一个实验室布置了一个厨房风格的桌面,上面有抽屉、柜子、积木和电灯开关,一名操作员在没有任何指示的情况下,长时间用 VR 控制器遥操作一台机械臂,随意与任何物体交互。在训练时,由相机图像、本体感知和动作组成的录制数据被切成短窗口,每个窗口以其最后一帧作为目标进行标注。目标条件策略学习到达任何目标图像,之后再为一小部分窗口标注诸如“打开抽屉”之类的指令,以支持语言命令。测试时,机器人把几个目标串联起来完成一个更长的任务,例如打开抽屉、把一块积木放进去再关上抽屉。
常见误解
- 玩耍数据是随机探索 — 它是有目的的人类行为;只是不与预先定义的任务绑定
- 玩耍数据需要任务标签才有用 — 后见重标注无需标签就能把任何片段变成一个到达目标的样例
- 玩耍数据可以完全取代任务演示 — 覆盖范围取决于操作员,因此罕见或精细的行为可能仍需要有针对性的演示
谁需要了解
- 模仿学习研究人员
- 机器人数据采集和遥操作团队
- 训练语言条件操作策略的工程师
- 从事长时程操作的研究人员
相关技术
- 后见重标注(Hindsight Relabeling)
- 从玩耍中学习(Learning from Play,Play-LMP)
- VR 遥操作(VR Teleoperation)
- CALVIN 基准(CALVIN Benchmark)
- 条件变分自编码器(Conditional Variational Autoencoders)
相关术语
相关项目
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required