Visual Servoing

• 又稱: visual servo control, vision-based control
• 類別: Control › Feedback control
• 標籤: control, computer-vision, feedback-control, manipulation, closed-loop

利用視覺回饋對機器人運動進行的閉迴路控制，其中在攝影機影像中量測到的誤差會持續被驅向零。

定義

視覺伺服（Visual servoing）把攝影機量測值直接送進控制迴路來控制機器人。機器人不是看一次、估計目標位置，然後以開迴路方式移動，而是反覆量測目前影像與期望影像之間的誤差，並下達能減小該誤差的運動指令。由於誤差在每個週期都會重新量測，機器人在移動過程中就能修正校正誤差、模型不準確以及目標的移動。

經典的表述分為以影像為基礎與以位置為基礎兩類。在以影像為基礎的視覺伺服（image-based visual servoing，IBVS）中，誤差定義在影像特徵上，例如點座標或直線參數，而互動矩陣（也稱為影像雅可比矩陣）將攝影機的速度旋量與這些特徵的變化率連結起來。典型的控制律下達的攝影機速度指令，與互動矩陣的虛反矩陣乘以特徵誤差成正比。IBVS 對校正誤差的容忍度較高，但需要估計特徵深度，而且可能產生彆扭的 3D 攝影機路徑。在以位置為基礎的視覺伺服（position-based visual servoing，PBVS）中，影像被用來估計目標的 3D 姿態，控制器直接調節姿態誤差；這會在笛卡兒空間中產生直線運動，但仰賴精確的校正與姿態估測。2.5D 視覺伺服等混合方案結合了兩者。攝影機可以安裝在機器人上（眼在手上，eye-in-hand），也可以固定在工作空間中，同時觀察機器人與目標（眼在手外，eye-to-hand）。

以學習為基礎的視覺伺服以神經網路取代人工設計的特徵或控制律。網路可以根據目前影像與目標，預測末端執行器應移動的方向或速度，機器人執行一小步後再重複。這樣既保留了閉迴路結構，又能處理難以定義人工特徵的物體與場景。

為何重要

機器人與攝影機的校正永遠不會完美，物體也很少剛好位於模型所說的位置。在視覺上閉合迴路，讓機器人在伸取、對位與插入時的精度主要取決於攝影機看到的內容，而不是事前把一切校正得多好。

主要應用

• 軸孔插入、連接器插接及其他精密對位任務
• 抓取移動中或定位不佳的物體
• 以內視鏡攝影機定位外科與醫療器械
• 移動機器人與無人機與充電站或目標的對接
• 以影像學習朝目標物體伸取

實際應用

一支裝有腕部相機的機器手臂必須讓夾爪與電路板上的連接器對位。連接器旁基準標記的四個角被當作影像特徵，其期望像素位置只需記錄一次：用手把夾爪放到正確的姿態即可。執行時，一個以攝影機速率運作的控制器偵測這些角點、計算像素誤差，使用近似深度將其乘上互動矩陣的虛反矩陣，再透過手眼轉換與機器人雅可比矩陣，把得到的攝影機速度送給手臂。接近收斂時會降低增益以避免振盪，當像素誤差低於門檻時迴路便停止。手眼校正中的小誤差會改變路徑，但不會改變最終的對位。

常見誤解

• 視覺伺服需要校正完美的攝影機 — 尤其是以影像為基礎的方案，即使有中等程度的校正與深度誤差，仍能收斂到正確的影像
• 它等同於先偵測目標再移動過去 — 視覺伺服會在運動過程中持續量測與修正，而不是執行開迴路的規劃
• 以影像為基礎的伺服一定讓攝影機走直線 — 影像中的直線路徑可能在 3D 中變成彎曲或後退的路徑，特徵也可能離開視野

誰需要了解

• 操作與組裝工程師
• 機器人視覺與感知開發人員
• 醫療與外科機器人工程師
• 無人機與移動機器人對接開發人員

相關技術

• ViSP
• 互動矩陣（Interaction Matrix）
• 手眼校正（Hand-Eye Calibration）
• 基準標記（Fiducial Markers）
• OpenCV

相關術語

• Eye-in-Hand Camera
• Jacobian
• End Effector
• Visuomotor Policy
• RGB Camera
• Transform

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments

影片

• Image-Based Visual Servoing - Robot Control Part 1: Engineering Educator Academy
• Robot Image-based Visual Servoing I | Robotic Systems: Leopoldo Armesto