USD
- 又称: Universal Scene Description, OpenUSD, Pixar USD
- 类别: Software & tooling › Tools & formats
- 标签: robot-description, simulation, file-format
由 Pixar 开发的开放场景描述格式,Isaac Sim 等仿真器用它以分层文件的形式描述机器人、环境及其物理属性。
定义
通用场景描述(USD)是一个用于描述三维场景的开放框架,最初由 Pixar 为电影制作而开发,并于 2016 年开源。USD 舞台(stage)是由 prim 组成的层级结构,每个 prim 都带有类型化的属性,并且可以由许多文件组合而成:子层(sublayer)把修改逐层叠加,引用(reference)和负载(payload)引入其他资产,变体集(variant set)则在不同方案之间切换,例如同一台机械臂上的两种夹爪。文件有三种形式:可读的文本格式(.usda)、紧凑的二进制格式(.usdc)以及打包压缩格式(.usdz)。
机器人领域之所以采用 USD,是因为面向机器人学习的仿真需要完整的世界,而不只是单个机器人。NVIDIA 在 USD 之上构建了 Isaac Sim 和 Omniverse,因此机器人、它的传感器、它工作的仓库以及它要操作的物品都存在于同一个舞台中。UsdPhysics 模式(schema)增加了刚体、碰撞形状、质量属性、关节和关节体(articulation),正是这些让一个渲染模型变成物理引擎可以步进计算的对象。用 URDF 或 MJCF 描述的机器人通常是在导入时转换为 USD,而不是直接用 USD 手写。
在实际使用中,最重要的是它的组合机制。多个人可以同时处理同一个场景而不会互相覆盖,而随机化的训练场景只需更换一个层,就能替换纹理、光照或物体摆放,无需复制文件。代价是复杂度:USD 远比 URDF 庞大,面向机器人的约定仍在逐步确立,而且同一台机器人可能因写入文件的工具不同而呈现出差异。
由 Pixar、Adobe、Apple、Autodesk 和 NVIDIA 于 2023 年成立的 OpenUSD 联盟(Alliance for OpenUSD)目前负责推动它的标准化。其代码以 Tomorrow Open Source Technology License 发布,该许可证即 Apache License 2.0,只是商标条款有所不同。
为何重要
越来越多的机器人仿真用 USD 来描述机器人所处的世界,而不仅仅是机器人本身。它之所以重要,是因为大规模机器人学习依赖大量多样的场景,而 USD 的分层机制让团队可以构建一个环境、以编程方式对其进行变化,并在不复制文件的情况下共享它。任何把机器人导入 Isaac Sim、或使用仿真就绪资产库的人都会接触到它,通常是在把 URDF 或 MJCF 模型转换成 USD 之后。
主要应用
- 在 Isaac Sim 和 Omniverse 中描述机器人、传感器和环境
- 构建可供许多项目复用的仿真就绪资产库
- 为合成数据和机器人学习随机化场景,无需复制文件
- 结合 CAD、机器人和布局的工厂与仓库数字孪生
- 在 CAD、渲染和仿真工具之间交换三维场景
实际应用
大多数机器人团队并不手写 USD。他们从 CAD 导出机器人,或用仿真器的导入工具转换现有的 URDF 或 MJCF 文件,然后检查结果:关节轴、关节限位、碰撞形状和质量属性是转换中最常出错的地方。环境由被引用的资产组装而成,训练中的各种变化作为单独的层施加,从而保持基础场景不被改动。文本格式的 .usda 文件便于阅读和比较差异,二进制的 .usdc 文件则适合任何大型内容。
常见误解
- USD 取代了 URDF:实际上,大多数机器人最初仍用 URDF 和 MJCF 描述,USD 往往是为了仿真而转换成的格式
- 一个 USD 文件就是单个文件:舞台通常由许多层和被引用的资产组合而成,只移动其中一个文件而不带上其他文件会导致它损坏
- 把机器人转换为 USD 会自动保留其物理属性:导入后往往需要检查关节限位、驱动、碰撞形状和惯性参数
- USD 是 NVIDIA 的格式:它由 Pixar 创建,目前由 OpenUSD 联盟负责标准化
谁需要了解
- 任何要把机器人导入 Isaac Sim 或其他基于 USD 的仿真器的人
- 构建仿真环境或数字孪生的工程师
- 利用随机化场景生成合成训练数据的研究人员
- 在 URDF、MJCF 和 USD 之间转换机器人模型的开发者
相关技术
- URDF
- MJCF
- NVIDIA Isaac Sim
- NVIDIA Omniverse
- UsdPhysics 模式
- glTF
- SimReady 资产
相关术语
相关项目
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- text-to-cad: Lets AI coding agents design parts in Python CAD and export robots to MuJoCo
- SolidCraft: Open-source parametric 3D CAD in Rust that exports robot assemblies to URDF
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages
视频
- Five Things to Know About USD | NVIDIA Omniverse Tutorials: NVIDIA
- Import Your Robots From URDF to USD - Isaac Sim Tutorial: LycheeAI