Depth Camera

• Detto anche: RGB-D Camera, 3D Camera
• Categoria: Sensing › Exteroceptive
• Tag: sensors, perception, 3d

Telecamera che acquisisce informazioni di profondità, consentendo la comprensione 3D della scena.

Definizione

Le telecamere di profondità acquisiscono informazioni 3D misurando la distanza di ogni pixel. Tra le tecnologie ci sono la luce strutturata (Kinect), il tempo di volo (ToF) e la visione stereo. Sono essenziali per la percezione 3D e la manipolazione.

Perché è importante

Una telecamera di profondità fornisce la distanza per ogni pixel, ed è questo che trasforma un'immagine in una scena in cui un robot può agire. Si colloca tra i due estremi della percezione robotica: più economica e più densa del LiDAR, ma molto più informativa di una semplice telecamera RGB. Per la manipolazione in particolare è la scelta predefinita: afferrare richiede di conoscere la forma e la distanza di un oggetto proprio davanti alla pinza, a distanza ravvicinata e con grande dettaglio, ed è esattamente lì che un LiDAR a scansione è più debole e una telecamera di profondità più forte.

Applicazioni principali

• Pianificazione della presa e bin picking: ricostruire la geometria degli oggetti vicino alla pinza
• Evitamento degli ostacoli per robot mobili, comprese le superfici sporgenti che un LiDAR 2D non vede
• Tracciamento della posa e dei gesti delle persone per una collaborazione sicura e la teleoperazione
• Scansione e ricostruzione 3D di oggetti o piccoli spazi
• Dimensionamento di pallet, scatole e pacchi nella logistica
• Visual servoing: chiudere un anello di controllo direttamente sulla distanza misurata da un bersaglio

In pratica

Una Intel RealSense D435 o D415 montata sopra l'area di lavoro è la configurazione di ricerca standard per la manipolazione su tavolo: la nuvola di punti che produce alimenta la pianificazione della presa, e l'immagine a colori allineata alimenta il rilevamento degli oggetti. La scelta della tecnologia conta più della marca. Le unità a luce strutturata e a stereo attiva proiettano un pattern e vengono messe fuori gioco dalla luce solare intensa, ed è per questo che sono strumenti per interni; le unità a tempo di volo misurano direttamente il percorso della luce e se la cavano meglio all'aperto, ma sfocano i bordi degli oggetti. Entrambe faticano con gli stessi materiali: vetro, cromature e plastica nera restituiscono poco segnale utilizzabile.

Idee sbagliate comuni

• Le telecamere di profondità funzionano ovunque: la maggior parte delle unità consumer peggiora molto alla luce solare diretta o oltre pochi metri
• Le immagini di profondità sono complete: le superfici riflettenti, trasparenti e molto scure lasciano buchi che il codice a valle deve gestire esplicitamente
• I pixel di profondità e di colore si allineano automaticamente: i due sensori sono distanziati e richiedono calibrazione e allineamento prima di poter essere usati insieme
• Una risoluzione più alta significa una profondità migliore: la precisione della profondità dipende dalla linea di base, dalla potenza del proiettore e dall'algoritmo, non dal numero di pixel

Chi dovrebbe saperlo

• Chiunque costruisca un sistema di manipolazione che deve gestire oggetti mai visti prima
• Sviluppatori che scelgono tra stereo, luce strutturata e tempo di volo per un determinato ambiente
• Ingegneri che correggono nuvole di punti con regioni mancanti o rumorose
• Acquirenti che confrontano kit di bracci robotici e basi mobili con una telecamera di profondità inclusa
• Studenti che passano dalla visione 2D alla percezione 3D

Tecnologie correlate

• Intel RealSense
• Microsoft Azure Kinect
• Stereolabs ZED
• LiDAR
• Point Cloud Library (PCL)
• Open3D
• Scansione a luce strutturata
• Sensore a tempo di volo (ToF)

Termini correlati

• LIDAR
• IMU

Progetti correlati

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
• Gazebo: Industry-standard open-source robotics simulator with multi-physics and ROS integration
• Patchwork++: Fast and robust ground segmentation for 3D LiDAR point clouds from KAIST
• Vision Pilot: Autoware Foundation's open-source L2 ADAS stack from a single camera

Prodotti correlati

• Femto Bolt: Orbbec
• Femto Mega: Orbbec
• Gemini 335: Orbbec
• Gemini 335L: Orbbec
• RealSense D415: RealSense
• Active Camera AC1: RoboSense

Video

• Depth Camera - Computerphile: Computerphile