Eye-in-Hand Camera

• 又稱: wrist-mounted camera, wrist camera, hand camera
• 類別: Sensing › Exteroceptive
• 標籤: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

安裝在機器人腕部或末端執行器上、隨夾爪一起移動的攝影機，能提供手即將接觸之物的近距離視野。

定義

眼在手上攝影機（eye-in-hand camera）安裝在機器人的腕部、法蘭或夾爪上，因此它的視點會隨末端執行器一起移動。另一種方式是眼在手外（eye-to-hand）攝影機，它固定在工作單元中，或裝在機器人的頭部或底座上，從外部觀察手臂。許多系統會結合兩者：以固定攝影機取得場景全貌，以腕部攝影機完成最後的接近。

腕部位置帶來幾項好處。攝影機在關鍵時刻從近距離看到物體，因此小的特徵與對位誤差都能以高解析度看清楚。視野相對於夾爪大致固定，讓影像特徵與所需夾爪運動之間的關係變得簡單；這是眼在手上視覺伺服（visual servoing）的基礎，而在以學習為基礎的操作策略中，它通常讓行為對物體在場景中的位置較不敏感。攝影機也可以移動，以繞過遮擋觀察，或從多個側面掃描物體。代價包括：視野狹窄且不斷變化，會失去對整體場景的掌握；會被夾爪自身的手指與被抓取的物體遮擋；快速移動時會產生動態模糊；最小對焦距離或深度量測範圍在夾爪最靠近物體時可能過長；以及腕部多出的線材與質量。

要在機器人座標中使用攝影機的影像，需要進行手眼校正（hand-eye calibration）：估計攝影機與法蘭之間的固定轉換。標準表述 AX = XB 把相對於校正標靶觀測到的攝影機運動，與由正向運動學得到的對應法蘭運動相比較；Tsai 與 Lenz 於 1989 年發表了一種廣為使用的解法。這個轉換中的誤差會直接表現為抓取偏移，因此每當攝影機安裝座被更換或被撞歪時，都要重新校正。

為何重要

腕部攝影機是研究用機器手臂的標準配備，在工業揀貨中也很常見，因為它們正好在發生接觸的位置提供精確的視野。關於示範學習的研究發現，與只使用固定攝影機相比，加入腕部視角往往能提高抓取與插入任務的成功率。

主要應用

• 抓取與插入的最後接近對位
• 為學習式視覺運動操作策略提供影像輸入
• 眼在手上視覺伺服
• 主動視點選擇與物體掃描
• 近距離檢查零件與特徵

實際應用

某團隊為一個取放策略收集遠端操作示範，記錄來自一台朝向桌面的固定攝影機，以及一台夾在夾爪上的小型 RGB 相機的影像。訓練時，兩個視角都輸入策略。測試時，腕部視角讓策略能在閉合夾爪之前修正小的對位誤差，而遠處的固定攝影機無法分辨這些誤差。收集資料之前，團隊讓手臂在棋盤格前依序經過一組姿態來進行手眼校正，並沿前臂加裝線材導引，讓攝影機線材在腕部旋轉時不會被勾住。

常見誤解

• 腕部攝影機可以取代固定的場景攝影機 — 它的視野狹窄，會失去整體的脈絡，因此許多系統兩者並用
• 攝影機一裝好，其姿態就是已知的 — 攝影機到法蘭的轉換必須以手眼校正估計，並在安裝座有任何變動後重新檢查
• 越近越好 — 深度攝影機有最小量測距離，而且非常近的視野常被手指或物體本身遮擋
• 眼在手上與眼在手外的校正是同一個問題 — 未知的轉換不同，前者把攝影機連結到法蘭，後者把攝影機連結到機器人底座

誰需要了解

• 操作與抓取工程師
• 收集示範資料的機器人學習研究人員
• 工業工作單元的機器視覺整合商
• 末端執行器設計人員

相關技術

• 手眼校正（Hand-Eye Calibration）
• 腕部安裝的 RGB-D 攝影機（Wrist-Mounted RGB-D Cameras）
• 視覺伺服（Visual Servoing）
• 基準標記（Fiducial Markers）
• Robomimic

相關術語

• Visual Servoing
• RGB Camera
• Depth Camera
• End Effector
• Visuomotor Policy
• Gripper

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design