Depth Camera

• 又稱: RGB-D Camera, 3D Camera
• 類別: Sensing › Exteroceptive
• 標籤: sensors, perception, 3d

擷取深度資訊、讓機器人能理解 3D 場景的攝影機。

定義

深度攝影機透過測量每個像素的距離來擷取 3D 資訊。技術包括結構光（Kinect）、飛行時間（ToF）與立體視覺。是 3D 感知與操作不可或缺的元件。

為何重要

深度攝影機提供每個像素的距離，正是這一點把一張圖片變成機器人可以在其中行動的場景。它位於機器人感知的兩個極端之間：比光達（LiDAR）便宜且資料更密集，提供的資訊又遠多於一般的 RGB 相機。特別是在操作上，它是預設的選擇：抓取需要知道夾爪正前方物體的形狀與距離，而且是在近距離、細節精細的情況下，這正是掃描式光達最弱、深度攝影機最強的地方。

主要應用

• 抓取規劃與料箱揀取：在夾爪附近還原物體的幾何形狀
• 移動機器人的避障，包括 2D 光達（LiDAR）偵測不到的懸空表面
• 人體姿態與手勢追蹤，用於安全協作與遠端操作
• 物體或小空間的 3D 掃描與重建
• 物流中的棧板、箱子與包裹尺寸量測
• 視覺伺服：直接根據量測到的目標距離閉合控制迴路

實際應用

把 Intel RealSense D435 或 D415 架設在工作範圍上方，是桌面操作研究的標準配置：它產生的點雲供抓取規劃使用，對齊後的彩色影像則供物體偵測使用。技術的選擇比品牌更重要。結構光與主動立體產品會投射圖樣，會被強烈陽光打敗，所以它們是室內工具；飛行時間產品直接量測光的行進時間，在戶外表現較好，但在物體邊緣會模糊。兩者都難以處理同樣的材質：玻璃、鍍鉻與黑色塑膠幾乎都回傳不了可用的訊號。

常見誤解

• 深度攝影機在哪裡都能用：大多數消費級產品在陽光直射下或超過幾公尺後效果就大幅下降
• 深度影像是完整的：反光、透明與非常暗的表面會留下空洞，後續的程式必須明確處理
• 深度像素與彩色像素會自動對齊：兩個感測器分開安裝，必須經過校正與對齊才能一起使用
• 解析度越高深度就越好：深度精度取決於基線長度、投射器功率與演算法，而不是像素數量

誰需要了解

• 任何建構必須處理未見過物體之操作系統的人
• 為特定環境在立體、結構光與飛行時間之間做選擇的開發者
• 排查點雲中缺漏或雜訊區域的工程師
• 比較附有深度攝影機之手臂套件與移動底盤的買家
• 從 2D 視覺進入 3D 感知的學生

相關技術

• Intel RealSense
• Microsoft Azure Kinect
• Stereolabs ZED
• 光達（LiDAR）
• Point Cloud Library（PCL）
• Open3D
• 結構光掃描
• 飛行時間（ToF）感測器

相關術語

• LIDAR
• IMU

相關專案

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
• Gazebo: Industry-standard open-source robotics simulator with multi-physics and ROS integration
• Patchwork++: Fast and robust ground segmentation for 3D LiDAR point clouds from KAIST
• Vision Pilot: Autoware Foundation's open-source L2 ADAS stack from a single camera

相關產品

• Femto Bolt: Orbbec
• Femto Mega: Orbbec
• Gemini 335: Orbbec
• Gemini 335L: Orbbec
• RealSense D415: RealSense
• Active Camera AC1: RoboSense

影片

• Depth Camera - Computerphile: Computerphile