Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

USD

  • 又称: Universal Scene Description, OpenUSD, Pixar USD
  • 类别: Software & tooling › Tools & formats
  • 标签: robot-description, simulation, file-format

由 Pixar 开发的开放场景描述格式,Isaac Sim 等仿真器用它以分层文件的形式描述机器人、环境及其物理属性。

定义

通用场景描述(USD)是一个用于描述三维场景的开放框架,最初由 Pixar 为电影制作而开发,并于 2016 年开源。USD 舞台(stage)是由 prim 组成的层级结构,每个 prim 都带有类型化的属性,并且可以由许多文件组合而成:子层(sublayer)把修改逐层叠加,引用(reference)和负载(payload)引入其他资产,变体集(variant set)则在不同方案之间切换,例如同一台机械臂上的两种夹爪。文件有三种形式:可读的文本格式(.usda)、紧凑的二进制格式(.usdc)以及打包压缩格式(.usdz)。

机器人领域之所以采用 USD,是因为面向机器人学习的仿真需要完整的世界,而不只是单个机器人。NVIDIA 在 USD 之上构建了 Isaac Sim 和 Omniverse,因此机器人、它的传感器、它工作的仓库以及它要操作的物品都存在于同一个舞台中。UsdPhysics 模式(schema)增加了刚体、碰撞形状、质量属性、关节和关节体(articulation),正是这些让一个渲染模型变成物理引擎可以步进计算的对象。用 URDF 或 MJCF 描述的机器人通常是在导入时转换为 USD,而不是直接用 USD 手写。

在实际使用中,最重要的是它的组合机制。多个人可以同时处理同一个场景而不会互相覆盖,而随机化的训练场景只需更换一个层,就能替换纹理、光照或物体摆放,无需复制文件。代价是复杂度:USD 远比 URDF 庞大,面向机器人的约定仍在逐步确立,而且同一台机器人可能因写入文件的工具不同而呈现出差异。

由 Pixar、Adobe、Apple、Autodesk 和 NVIDIA 于 2023 年成立的 OpenUSD 联盟(Alliance for OpenUSD)目前负责推动它的标准化。其代码以 Tomorrow Open Source Technology License 发布,该许可证即 Apache License 2.0,只是商标条款有所不同。

为何重要

越来越多的机器人仿真用 USD 来描述机器人所处的世界,而不仅仅是机器人本身。它之所以重要,是因为大规模机器人学习依赖大量多样的场景,而 USD 的分层机制让团队可以构建一个环境、以编程方式对其进行变化,并在不复制文件的情况下共享它。任何把机器人导入 Isaac Sim、或使用仿真就绪资产库的人都会接触到它,通常是在把 URDF 或 MJCF 模型转换成 USD 之后。

主要应用

  • 在 Isaac Sim 和 Omniverse 中描述机器人、传感器和环境
  • 构建可供许多项目复用的仿真就绪资产库
  • 为合成数据和机器人学习随机化场景,无需复制文件
  • 结合 CAD、机器人和布局的工厂与仓库数字孪生
  • 在 CAD、渲染和仿真工具之间交换三维场景

实际应用

大多数机器人团队并不手写 USD。他们从 CAD 导出机器人,或用仿真器的导入工具转换现有的 URDF 或 MJCF 文件,然后检查结果:关节轴、关节限位、碰撞形状和质量属性是转换中最常出错的地方。环境由被引用的资产组装而成,训练中的各种变化作为单独的层施加,从而保持基础场景不被改动。文本格式的 .usda 文件便于阅读和比较差异,二进制的 .usdc 文件则适合任何大型内容。

常见误解

  • USD 取代了 URDF:实际上,大多数机器人最初仍用 URDF 和 MJCF 描述,USD 往往是为了仿真而转换成的格式
  • 一个 USD 文件就是单个文件:舞台通常由许多层和被引用的资产组合而成,只移动其中一个文件而不带上其他文件会导致它损坏
  • 把机器人转换为 USD 会自动保留其物理属性:导入后往往需要检查关节限位、驱动、碰撞形状和惯性参数
  • USD 是 NVIDIA 的格式:它由 Pixar 创建,目前由 OpenUSD 联盟负责标准化

谁需要了解

  • 任何要把机器人导入 Isaac Sim 或其他基于 USD 的仿真器的人
  • 构建仿真环境或数字孪生的工程师
  • 利用随机化场景生成合成训练数据的研究人员
  • 在 URDF、MJCF 和 USD 之间转换机器人模型的开发者

相关技术

  • URDF
  • MJCF
  • NVIDIA Isaac Sim
  • NVIDIA Omniverse
  • UsdPhysics 模式
  • glTF
  • SimReady 资产

相关术语

  • URDF
  • Digital Twin
  • Sim2Real
  • Domain Randomization

相关项目

  • GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • text-to-cad: Lets AI coding agents design parts in Python CAD and export robots to MuJoCo
  • SolidCraft: Open-source parametric 3D CAD in Rust that exports robot assemblies to URDF
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages

视频

  • Five Things to Know About USD | NVIDIA Omniverse Tutorials: NVIDIA
  • Import Your Robots From URDF to USD - Isaac Sim Tutorial: LycheeAI

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。