Dynamic Movement Primitive
- 又称: DMP, dynamical movement primitive
- 类别: Learning & autonomy › Learning from demonstration
- 标签: learning-from-demonstration, motion-primitives, trajectory-generation, dynamical-systems, robot-learning
一种运动基元,把轨迹编码为一个稳定的二阶动力学系统加上一个学习得到的强迫项,从而可以把示范的运动以新的目标和新的速度重放出来。
定义
动态运动基元(DMP)(dynamic movement primitive)把一个运动表示为一个动力学系统的输出,而不是一串固定的航点。这一表述由 Ijspeert、Nakanishi 和 Schaal 在 2000 年代初提出,后来由 Ijspeert 等人(2013)以 dynamical movement primitives 之名完整阐述。对于每个自由度,一个变换系统表现得像一个临界阻尼的弹簧-阻尼器,把位置拉向目标 g。在它上面加上一个强迫项,用来塑造沿途的路径。强迫项是关于相位变量 x 的高斯基函数的加权和,而 x 由一个单独的规范系统产生,从 1 平滑地衰减到 0。由于强迫项乘以 x,它会随时间逐渐消失,因此系统保证像普通的弹簧-阻尼器一样收敛到目标。
从一次示范中学习 DMP 很简单:用示范的位置、速度和加速度算出系统所需的强迫项,再用线性回归拟合基函数权重。学到的运动随后可以被泛化。改变 g 会移动终点,同时保持形状,因为强迫项按起点到目标的距离缩放。改变时间常数 τ 可以加快或放慢运动。多个自由度共享一个规范系统,从而保持同步。节律型版本使用振荡的相位来表示行走或擦拭等周期性运动,还可以加入耦合项来避障,或在跟踪误差增大时放慢相位。
DMP 是运动基元的一种具体形式;运动基元是指可复用的运动构件这一一般概念。与其他学习得到的基元相比,DMP 是确定性的,表示单条轨迹;概率运动基元(ProMP)则表示从多次示范中学到的轨迹分布。原始表述的已知弱点包括:当新目标离起点非常近、或位于起点另一侧时缩放会出现异常(后来的改进表述解决了这一问题),以及处理姿态时需要特殊形式,例如四元数 DMP。紧凑的权重向量也使 DMP 成为真实机器人上强化学习的一种常见策略参数化方式。
为何重要
DMP 提供了一种方法:从一次示范中学习一个运动,并以新的目标和时间安排复用它,同时保持有保证的收敛性。易于学习、输出平滑和稳定这三者的结合,使它们成为示范学习中的一种标准表示,也是较新轨迹模型的常用基线。
主要应用
- 从一次动觉示教或遥操作示范中学习操作技能
- 把伸手、倾倒和放置运动泛化到新的目标位置
- 为社交机器人生成和调节富有表现力的手势
- 擦拭、打鼓和行走模式等节律性运动
- 真实机器人上强化学习的策略参数化
实际应用
一台社交机器人获得了一组由动画师录制的富有表现力的手臂手势,例如挥手和耸肩。每个手势都被编码为一组 DMP,每个关节一个,共享一个规范系统。运行时,一个更高层的模块选择手势并对其进行调节:改变时间常数可以让挥手在兴奋的语气下更快、在平静的语气下更慢;移动目标会把手抬得更高;缩放强迫项权重则使动作更大或更小。由于每个 DMP 总会收敛到它的目标,调节后的手势仍然以一个有效姿态结束,而关节指令在执行前还会经过机器人的关节限位和速度限制。
常见误解
- DMP 只是一条录制的轨迹 — 它是一个动力学系统,可以重定向到新的目标和速度,并能对其状态受到的扰动作出反应
- 运动基元和 DMP 是一回事 — DMP 是众多运动基元中的一种具体表述
- DMP 能捕捉多次示范之间的变化 — 基本的 DMP 拟合一条轨迹;概率运动基元才对示范之间的变化建模
- DMP 能自行避障 — 避障需要额外加入耦合项或外层规划器
谁需要了解
- 研究示范学习的机器人学习研究人员
- 构建可复用技能库的操作工程师
- 设计机器人手势的人机交互研究人员
- 学习轨迹表示的机器人专业学生
相关技术
- 概率运动基元(Probabilistic Movement Primitives)
- 局部加权回归(Locally Weighted Regression)
- 高斯混合回归(Gaussian Mixture Regression)
- 动觉示教(Kinesthetic Teaching)
- 策略搜索强化学习(Policy Search Reinforcement Learning)
相关术语
- Motion Primitive
- Kinesthetic Teaching
- Imitation Learning
- Trajectory Planning
- Reinforcement Learning
- Impedance Control
相关项目
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
- robosuite: Modular MuJoCo simulation framework for robot learning research
- LIBERO: Lifelong robot learning benchmark with 130 procedural tasks
- Open X-Embodiment (OXE): Largest open robotics dataset: 1M+ episodes from 22 embodiments