RGB Camera

• Detto anche: Camera, Vision Sensor, Color Camera
• Categoria: Sensing › Exteroceptive
• Tag: sensors, perception, vision, hardware

Telecamere a colori che acquisiscono i canali rosso, verde e blu, molto usate in robotica per il rilevamento di oggetti, l'asservimento visivo e la comprensione della scena.

Definizione

Le telecamere RGB acquisiscono immagini a colori tramite i canali rosso, verde e blu, fornendo ricche informazioni visive per la percezione dei robot. Si usano per il rilevamento di oggetti, l'asservimento visivo (visual servoing), l'odometria visiva e la comprensione della scena. Tra le specifiche principali figurano risoluzione, frequenza dei fotogrammi, campo visivo e tipo di obiettivo (fisheye, grandangolare, teleobiettivo). Le telecamere RGB vengono spesso combinate con sensori di profondità (ottenendo telecamere RGB-D) o usate in coppie stereo per la stima della profondità. Modelli di machine learning come le CNN e i Vision Transformer elaborano le immagini RGB per compiti come il riconoscimento degli oggetti e la segmentazione semantica.

Perché è importante

Una telecamera RGB è il sensore più economico e ricco di informazioni che un robot possa portare, e l'unico che acquisisce colore, texture e testo. È ciò che rende possibile la comprensione semantica: distinguere un pomodoro maturo da uno verde, leggere un'etichetta, riconoscere una persona. Il suo limite è altrettanto fondamentale: una singola immagine non contiene informazioni dirette sulla distanza, quindi tutto ciò che è spaziale deve essere dedotto, ed è per questo che le telecamere vengono di solito abbinate a un rilevamento della profondità o a un algoritmo che ricostruisce la struttura dal movimento.

Applicazioni principali

• Rilevamento, classificazione e comprensione semantica degli oggetti
• Odometria visiva e SLAM visiva
• Lettura di testo, codici a barre e marcatori fiduciali come gli AprilTag
• Controllo qualità, dove contano colore e finitura superficiale
• Asservimento visivo, che chiude un anello di controllo sulle caratteristiche dell'immagine
• Input per i modelli Vision-Language (VLM) e i modelli Vision-Language-Action (VLA)

In pratica

Le specifiche che contano in robotica raramente sono quelle scritte sulla confezione. Il tipo di otturatore è spesso decisivo: un rolling shutter deforma tutto ciò che si muove rapidamente, il che compromette l'odometria visiva e la stima della posa, quindi si preferisce il global shutter nonostante il costo. Per gli anelli di controllo frequenza dei fotogrammi e latenza contano più della risoluzione, e la scelta dell'obiettivo stabilisce il campo visivo e la distorsione che la calibrazione deve correggere. Moltissimi problemi di percezione risalgono a una telecamera scelta in base ai megapixel anziché a otturatore, latenza e ottica.

Idee sbagliate comuni

• Una risoluzione più alta significa una visione robotica migliore: frequenza dei fotogrammi, tipo di otturatore e latenza di solito contano di più
• Una telecamera fornisce la distanza: la profondità va dedotta dalla stereo, dal movimento o da un modello appreso
• Va bene qualsiasi webcam: rolling shutter, esposizione automatica e latenza USB rompono ciascuno a modo suo gli anelli di controllo
• Le telecamere funzionano con qualsiasi illuminazione: gamma dinamica e prestazioni in scarsa luce le limitano fortemente rispetto al LiDAR

Chi dovrebbe saperlo

• Chiunque scelga telecamere per un robot e non per la fotografia
• Sviluppatori che realizzano odometria visiva o SLAM, dove il tipo di otturatore è decisivo
• Ingegneri che eseguono il debug di una percezione che peggiora quando il robot si muove
• Studenti che imparano perché le informazioni 3D non possono venire da una sola immagine
• Chiunque calibri obiettivi e corregga la distorsione

Tecnologie correlate

• Telecamera di profondità (RGB-D)
• Visione stereo
• Rete neurale convoluzionale (CNN)
• OpenCV
• SLAM visiva
• Global shutter e rolling shutter a confronto
• Processore di segnale d'immagine (ISP)
• LiDAR

Progetti correlati

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
• Gazebo: Industry-standard open-source robotics simulator with multi-physics and ROS integration
• Patchwork++: Fast and robust ground segmentation for 3D LiDAR point clouds from KAIST
• Vision Pilot: Autoware Foundation's open-source L2 ADAS stack from a single camera

Prodotti correlati

• 48MP USB Camera Module: ELP Camera
• 5MP Autofocus USB Camera: ELP Camera
• Dual Lens Stereo USB Camera: ELP Camera
• Global Shutter USB Camera: ELP Camera
• 1080P USB UVC Camera Module: Innomaker
• 720P USB UVC Camera Module: Innomaker

Video

• Capturing Digital Images (The Bayer Filter) - Computerphile: Computerphile