Visual Servoing

• 又称: visual servo control, vision-based control
• 类别: Control › Feedback control
• 标签: control, computer-vision, feedback-control, manipulation, closed-loop

利用视觉反馈对机器人运动进行的闭环控制，其中在相机图像中测得的误差被持续驱动到零。

定义

视觉伺服（Visual servoing）通过把相机测量值直接送入控制回路来控制机器人。机器人不是看一次、估计目标的位置，然后开环运动，而是反复测量当前图像与期望图像之间的误差，并发出减小该误差的运动指令。由于误差在每个周期都会被重新测量，机器人在运动过程中就能修正标定误差、模型不准确以及目标的运动。

经典的表述分为基于图像和基于位置两类。在基于图像的视觉伺服（image-based visual servoing，IBVS）中，误差定义在图像特征上，例如点坐标或直线参数，而交互矩阵（也称为图像雅可比矩阵）把相机的速度旋量与这些特征的变化率联系起来。一种典型的控制律给出的相机速度指令，与交互矩阵的伪逆乘以特征误差成正比。IBVS 对标定误差有较好的容忍度，但需要估计特征的深度，并且可能产生别扭的 3D 相机路径。在基于位置的视觉伺服（position-based visual servoing，PBVS）中，图像被用来估计目标的 3D 位姿，控制器直接调节位姿误差；这会在笛卡尔空间中产生直线运动，但依赖于精确的标定和位姿估计。2.5D 视觉伺服等混合方案把两者结合起来。相机可以安装在机器人上（眼在手上，eye-in-hand），也可以固定在工作空间中，同时观察机器人和目标（眼在手外，eye-to-hand）。

基于学习的视觉伺服用神经网络取代人工设计的特征或控制律。网络可以根据当前图像和目标预测末端执行器应当移动的方向或速度，机器人执行一小步后再重复。这样既保留了闭环结构，又能处理那些难以定义人工特征的物体和场景。

为何重要

机器人和相机的标定永远不会完美，物体也很少恰好位于模型所说的位置。在视觉上闭合回路，使机器人在伸够、对准和插入时的精度主要取决于相机看到的内容，而不是事先把一切标定得有多好。

主要应用

• 轴孔插装、连接器插接及其他精密对准任务
• 抓取运动中或定位不准的物体
• 借助内窥镜相机定位外科和医疗器械
• 移动机器人和无人机与充电站或目标的对接
• 基于图像学习向目标物体伸够

实际应用

一台带腕部相机的机械臂必须把夹爪与电路板上的一个连接器对准。连接器旁边一个基准标记的四个角被用作图像特征，它们的期望像素位置只需记录一次：用手把夹爪放到正确位姿即可。运行时，一个以相机帧率运行的控制器检测这些角点，计算像素误差，使用近似深度将其乘以交互矩阵的伪逆，并通过手眼变换和机器人雅可比矩阵把得到的相机速度发送给机械臂。在接近收敛时降低增益以避免振荡，当像素误差低于阈值时回路停止。手眼标定中的小误差会改变路径，但不会改变最终的对准。

常见误解

• 视觉伺服需要完美标定的相机 — 尤其是基于图像的方案，即使存在中等程度的标定误差和深度误差，也能收敛到正确的图像
• 它等同于先检测目标再移动过去 — 视觉伺服在运动过程中持续测量和修正，而不是执行一个开环规划
• 基于图像的伺服总是让相机沿直线运动 — 图像中的直线路径可能在 3D 中对应弯曲或后退的路径，特征还可能离开视场

谁需要了解

• 操作与装配工程师
• 机器人视觉与感知开发人员
• 医疗和外科机器人工程师
• 无人机和移动机器人对接开发人员

相关技术

• ViSP
• 交互矩阵（Interaction Matrix）
• 手眼标定（Hand-Eye Calibration）
• 基准标记（Fiducial Markers）
• OpenCV

相关术语

• Eye-in-Hand Camera
• Jacobian
• End Effector
• Visuomotor Policy
• RGB Camera
• Transform

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments

视频

• Image-Based Visual Servoing - Robot Control Part 1: Engineering Educator Academy
• Robot Image-based Visual Servoing I | Robotic Systems: Leopoldo Armesto