Eye-in-Hand Camera

• 又称: wrist-mounted camera, wrist camera, hand camera
• 类别: Sensing › Exteroceptive
• 标签: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

安装在机器人腕部或末端执行器上、随夹爪一起移动的相机，能提供手即将接触之物的近距离视图。

定义

眼在手上相机（eye-in-hand camera）安装在机器人的腕部、法兰或夹爪上，因此它的视点随末端执行器一起移动。另一种方式是眼在手外（eye-to-hand）相机，它固定在工作单元中，或安装在机器人的头部或底座上，从外部观察机械臂。许多系统把两者结合起来：用固定相机获得场景全貌，用腕部相机完成最后的接近。

腕部位置带来若干好处。相机在关键时刻从近距离看到物体，因此小的特征和对准误差都能以高分辨率看清。视野相对于夹爪大致保持不变，这使图像特征与所需夹爪运动之间的关系变得简单；这是眼在手上视觉伺服（visual servoing）的基础，而在基于学习的操作策略中，它通常使行为对物体在场景中的位置不那么敏感。相机还可以被移动，以绕过遮挡观察，或从多个侧面扫描物体。代价包括：视场狭窄且不断变化，会丢失对更大范围场景的跟踪；会被夹爪自身的手指和被抓取的物体遮挡；快速运动时会出现运动模糊；最小对焦距离或深度量程在夹爪最靠近物体时可能过长；以及在腕部增加额外的线缆和质量。

要在机器人坐标中使用相机的图像，需要进行手眼标定（hand-eye calibration）：估计相机与法兰之间的固定变换。标准的表述 AX = XB 把相对标定靶观测到的相机运动与由正向运动学得到的相应法兰运动进行比较；Tsai 和 Lenz 在 1989 年发表了一种被广泛使用的解法。该变换中的误差会直接表现为抓取偏移，因此每当相机安装座被更换或被撞动时，都要重新进行标定。

为何重要

腕部相机是研究用机械臂的标准配置，在工业拣选中也很常见，因为它们恰好在发生接触的位置提供精确的视图。关于示教学习的研究发现，与只使用固定相机相比，加入腕部视角往往能提高抓取和插装任务的成功率。

主要应用

• 抓取和插装的最终接近对准
• 为学习型视觉运动操作策略提供图像输入
• 眼在手上视觉伺服
• 主动视点选择与物体扫描
• 近距离检查零件和特征

实际应用

一个团队为一个取放策略收集遥操作演示，记录来自一台朝向桌面的固定相机和一台夹在夹爪上的小型 RGB 相机的图像。训练时，两个视角都输入给策略。在测试中，腕部视角让策略能够在闭合夹爪之前修正小的对准误差，而远处的固定相机无法分辨这些误差。在收集数据之前，团队让机械臂在棋盘格前依次经过一组位姿来完成手眼标定，并沿前臂加装了一个线缆导向件，使相机线缆在腕部旋转时不会被挂住。

常见误解

• 腕部相机可以取代固定的场景相机 — 它的视野狭窄，会丢失更大范围的上下文，因此许多系统两者都用
• 相机一旦安装，其位姿就是已知的 — 相机到法兰的变换必须通过手眼标定来估计，并在安装座发生任何变化后进行检查
• 越近越好 — 深度相机有最小量程，而且非常近的视图常常被手指或物体本身遮挡
• 眼在手上标定和眼在手外标定是同一个问题 — 未知变换不同，前者把相机与法兰联系起来，后者把相机与机器人底座联系起来

谁需要了解

• 操作与抓取工程师
• 收集演示数据的机器人学习研究人员
• 工业工作单元的机器视觉集成商
• 末端执行器设计人员

相关技术

• 手眼标定（Hand-Eye Calibration）
• 腕部安装的 RGB-D 相机（Wrist-Mounted RGB-D Cameras）
• 视觉伺服（Visual Servoing）
• 基准标记（Fiducial Markers）
• Robomimic

相关术语

• Visual Servoing
• RGB Camera
• Depth Camera
• End Effector
• Visuomotor Policy
• Gripper

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design