Foundation models in robotics: Applications, challenges, and the future
作者: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用。
一句话总结
关于基础模型在机器人领域应用的综述，按决策与控制、感知和具身 AI分组，最后提出从数据稀缺到安全和实时使用的八项开放挑战。
为何重要
工程师在决定是否在机器人中使用 LLM、VLM 或机器人 Transformer 时，可以参考该综述的分类及其表 II；该表列出了参数量和推理频率，例如 RT-2 为 1-3 Hz，而 Gato 为 20 Hz。挑战部分列出了实际部署中的问题：仅能在云端运行的模型与网络延迟、幻觉、经过校准的不确定性以及安全测试。作者还指出，许多决策方面的结果难以比较，因为它们依赖定制的硬件栈或非物理仿真器。
问题
机器人领域的深度学习模型通常在为单一任务收集的小型数据集上训练，这限制了它们适应新任务和新环境的能力。在互联网规模数据上预训练的基础模型在语言和视觉领域泛化良好，机器人研究者已开始将其直接接入机器人、为机器人进行适配，或为机器人专门构建。该领域的工作分散在感知、规划和控制等方向，缺少一张统一的图景来说明哪些已经尝试过、哪些仍未解决。
提出的方法
这是一篇综述，没有提出自己的方法。其范围限定为背景论文、机器人论文（即插即用、经过微调或为机器人新构建的基础模型）以及与机器人相邻领域的论文，内容涵盖基础模型背景，机器人决策与控制（语言条件模仿学习、语言辅助 RL、价值学习、LLM 任务规划与代码生成、上下文学习、机器人 Transformer、开放词汇导航与操作），感知（开放词汇检测、分割、3D 场景表示、可供性、预测模型），以及具身 AI及其仿真器。最后讨论挑战和未来方向，并以表格列出机器人专用预训练模型的规模、推理速度和训练硬件。
关键见解
- 该综述将机器人领域的工作分为使用基础模型的三种方式：即插即用地使用现有模型、对其进行适配或微调，以及构建新的机器人专用基础模型。
- 当前机器人 Transformer 学到的机器人物理技能局限于机器人数据中已有技能的分布；作者建议将来自人类视频的运动数据作为突破这一局限的途径之一。
- 许多基础模型只能通过云 API 访问，因此延迟取决于机器人无法控制的网络；作者建议采用本地的后备自主能力，并蒸馏为更小的机载模型。
- 对于安全关键型机器人，作者认为不确定性估计需要在频率学派意义上经过校准，并以 KnowNo 对保形预测的使用作为案例研究。
- Gibson、Habitat、RoboTHOR 和 VirtualHome 等非物理仿真器以牺牲底层物理为代价换取视觉保真度，作者将此与较大的仿真到现实差距和较差的可复现性联系起来。
主要结果
- 作为综述，它没有报告自己的实验；其参考文献多达 233 条，涵盖背景、机器人和机器人相邻领域的论文。
- 表 II 列出了机器人专用预训练模型的规模和推理频率，例如 RT-1 为 35M 参数、3 Hz，RT-2 和 RT-2-X 为 55B 参数、在多 TPU 云服务上为 1-3 Hz，Gato 为 1.2B、20 Hz，ViNT 为 31M、4 Hz。
- 同一表格列出 PACT（12M 参数）在 Nvidia Xavier NX 边缘计算机上为 10 Hz，在 8 块 Nvidia V100 GPU 上为 50 Hz；PaLM-E-562B 的语言子目标为 1 Hz，底层控制为 5 Hz。
- 该综述称，RT-1 在超过 130k 条真实世界机器人回合上训练，覆盖 700 多项任务，这些数据由 13 台机器人在 17 个月内收集。
- 该综述称，RT-X 数据集汇集了来自 22 种机器人和 21 家机构的数据，覆盖 527 项技能（160,266 项任务）。
- 它列出了八个挑战领域：数据稀缺、实时性能、多模态表示的局限、不确定性量化、安全评估、即插即用与构建新模型之间的取舍、机器人环境的高度可变性，以及基准测试与可复现性。
局限
- 作者称此版本为初步发布版，并打算继续更新，因此它反映的是截至 2023 年 12 月的领域状况。
- 范围限于三类论文（背景、机器人、机器人相邻领域），作者指出其范围比更广泛的基础模型综述窄得多。
- 作者表示，决策部分的论文比感知或具身 AI部分的论文更难评估和比较，因为它们依赖定制的硬件栈或非物理仿真器。
- 表 II 中在原论文未报告数据之处留有空白字段，因此并非每个模型都有推理速度和硬件信息。
对领域的影响
该综述被引用 471 次。作者同时发布了一个 GitHub 项目 Awesome-Robotics-Foundation-Models，并将其描述为打算持续更新的初步发布版。
摘要
我们综述了预训练基础模型在机器人领域的应用。机器人领域的传统深度学习模型是在为特定任务定制的小型数据集上训练的，这限制了它们在多样化应用中的适应能力。相比之下，在互联网规模数据上预训练的基础模型似乎具有更强的泛化能力，并且在某些情况下展现出涌现能力，能够为训练数据中不存在的问题找到零样本解决方案。基础模型可能有潜力增强机器人自主系统栈的各个组成部分，从感知到决策和控制。例如，大语言模型可以生成代码或提供常识推理，而视觉-语言模型可以实现开放词汇的视觉识别。然而，重大的开放研究挑战依然存在，尤其是与机器人相关的训练数据稀缺、安全保证与不确定性量化，以及实时执行等方面。在这篇综述中，我们研究了近期使用或构建基础模型来解决机器人问题的论文。我们探讨了基础模型如何在感知、决策和控制等领域帮助提升机器人能力。我们讨论了阻碍基础模型在机器人自主中应用的挑战，并为未来的进展提供了机遇和可能的路径。与本文对应的 GitHub 项目（初步发布版。我们致力于进一步完善和更新这项工作，以确保其质量和相关性）可在此处找到：https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models
链接
- arXiv 2312.07843: https://arxiv.org/abs/2312.07843
- DOI 10.1177/02783649241281508: https://doi.org/10.1177/02783649241281508
- PDF: https://arxiv.org/pdf/2312.07843v1
- 项目主页: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models