Kinesthetic Teaching
- 又称: lead-through programming, hand guiding, physical demonstration
- 类别: Learning & autonomy › Learning from demonstration
- 标签: imitation-learning, demonstrations, human-robot-interaction, cobots, data-collection
通过亲手引导机器人手臂完成任务来教机器人,同时由机器人记录自身的关节或末端执行器运动,从而直接在机器人自己的身体上得到示范。
定义
动觉示教(kinesthetic teaching)是一种给出示范的方式:人握住机器人,带着它完成任务。机器人的控制器使手臂易于被移动,机器人则把自己的关节位置、末端执行器位姿,有时还有力,记录下来作为示范。记录的数据可以作为固定程序回放,也可以用作模仿学习的训练数据。因此,动觉示教是一种采集示范的方式,而模仿学习是从示范中学习策略的一类方法,无论这些示范是以何种方式采集的。在工业机器人领域,同样的思路被称为引导编程(lead-through programming)或手动引导(hand guiding)。
它的主要优势在于,示范直接以机器人自身的关节空间给出。遥操作和视频示范需要把人的动作映射到另一个身体上,即对应问题,而且遥操作界面在精细或接触丰富的动作上可能很难使用。采用动觉示教时,每一段记录的动作对机器人来说在运动学上本就是可行的,而且人能通过手臂感受到与环境的接触。要做到这一点,手臂必须容易用手移动:要么它是可反驱的,并运行重力补偿或低阻抗控制器;要么它利用关节力矩或腕部力传感,配合导纳控制来跟随人施加的力。
动觉示教也有局限。人的手和身体处在场景中,因此示范期间记录的图像包含人,记录的力也包含人的推力,而不只是任务力。一种常见的解决办法是先通过动觉方式记录轨迹,再让机器人自主回放,以采集干净的相机和力数据。引导一台沉重或关节众多的手臂很累人,双臂任务需要两个人或精心的布置,而快速或动态的动作很难用手来示范。示范还会记录下示教者的犹豫,因此轨迹在使用前通常要经过平滑或分段处理。
为何重要
动觉示教是在真实机器人上获得可行且与任务相关的示范的最简单方式之一,无需重定向,也几乎不需要额外硬件。它被广泛用于在工厂车间为协作机器人编程,以及为模仿学习研究采集数据。
主要应用
- 通过手动引导为协作机器人编程
- 为模仿学习和行为克隆采集示范
- 示教擦拭、插入和舀取等接触丰富的任务
- 从少量示范中学习运动基元
- 为焊接、喷涂和装配路径示教航点
实际应用
一个研究团队用装在协作机械臂上的勺子采集从碗里舀食物的示范。在重力补偿模式下,一个人在靠近腕部的位置握住手臂,完成每一次舀取,同时机器人以固定频率记录末端执行器位姿。由于人的手会挡住腕部相机并额外施加力,每条记录的轨迹随后由机器人单独回放,回放时得到的相机图像和力读数与轨迹配对,作为训练数据。碰到碗沿或洒出食物的示范会被丢弃,其余示范用于训练一个视觉运动策略。
常见误解
- 动觉示教是一种遥操作 — 在遥操作中,人操作一个独立的界面,机器人在远处跟随;而在动觉示教中,人亲手移动机器人本身
- 任何机械臂都可以进行动觉示教 — 手臂需要可反驱的关节,或者具备力矩或力传感并配合合适的控制器;一台刚性的位置控制工业机械臂无法简单地用手推动
- 示范期间记录的数据可以直接使用 — 人会出现在相机图像中,其施加的力也会与任务力混在一起,因此许多流程会回放轨迹来记录干净的传感器数据
谁需要了解
- 采集示范的机器人学习研究人员
- 为协作机器人编程的系统集成商
- 实现重力补偿和导纳控制的控制工程师
- 辅助和服务机器人开发者
相关技术
- 重力补偿(Gravity Compensation)
- 导纳控制(Admittance Control)
- Dynamic Movement Primitives
- 关节力矩传感器(Joint Torque Sensors)
- 协作机械臂(Collaborative Robot Arms)
相关术语
相关项目
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
- OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
- Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.
- AgiBot World: Million-trajectory real-robot manipulation dataset from a fleet of 100+ humanoid robots