Exteroception

• Aussi appelé: exteroceptive sensing, external sensing
• Catégorie: Sensing › Exteroceptive
• Mots-clés: sensing, perception, sensor-classification, proprioception, perceptive-locomotion

Perception de l'environnement extérieur au robot, à l'aide de caméras, de LiDAR, de radar, de sonar et de capteurs similaires, par opposition à la proprioception, qui perçoit les articulations et le mouvement propres du robot.

Définition

L'extéroception est la perception par un robot du monde extérieur à son propre corps : la forme, l'apparence et la position du sol, des obstacles, des objets et des personnes qui l'entourent. Le terme vient de la physiologie, où Charles Sherrington distinguait les sens extéroceptifs, comme la vue et l'ouïe, des sens proprioceptifs, qui renseignent sur la position et le mouvement du corps lui-même. En robotique, ce couple est une manière standard de classer les capteurs. Les capteurs extéroceptifs comprennent les caméras, les caméras de profondeur, le LiDAR, le radar, les télémètres à ultrasons, les microphones et les récepteurs GNSS ; les capteurs proprioceptifs comprennent les encodeurs articulaires, la mesure du courant des moteurs et les IMU.

La frontière n'est pas toujours nette. Une IMU perçoit le mouvement propre du robot mais aussi la direction de la gravité, et les capteurs tactiles et d'effort mesurent le contact avec l'environnement tout en étant généralement rangés du côté de la proprioception dans les travaux sur la locomotion à pattes. Un critère pratique consiste à se demander si le signal décrit surtout l'état interne du robot ou le monde qui l'entoure. Les données extéroceptives sont typiquement de grande dimension, arrivent avec une certaine latence et sont affectées par l'éclairage, la météo, la poussière, les reflets et les occultations. Les données proprioceptives sont de faible dimension, rapides et fiables, mais ne révèlent rien de l'environnement tant que le robot ne le touche pas.

Une grande partie de la conception des robots consiste à combiner les deux. En locomotion à pattes, les contrôleurs aveugles qui n'utilisent que la proprioception sont robustes mais ne réagissent au terrain qu'après le contact, tandis que les contrôleurs perceptifs ajoutent des entrées extéroceptives, comme des échantillons de hauteur tirés d'une carte d'élévation, pour que le robot puisse placer ses pieds à l'avance. Comme l'extéroception peut échouer ou induire en erreur, par exemple dans les hautes herbes, la neige, sur le verre ou l'eau, les systèmes robustes estiment dans quelle mesure s'y fier et se rabattent sur la proprioception lorsque les deux divergent. Des jeux de données de véhicules comme TartanDrive enregistrent des flux extéroceptifs, comme les images de la caméra frontale et des cartes de hauteur et de couleur vues de dessus, en même temps que des signaux proprioceptifs, afin que les modèles puissent apprendre comment le terrain influe sur le mouvement du véhicule.

Pourquoi c'est important

L'extéroception est le moyen par lequel un robot apprend tout ce qu'il n'a pas encore touché : obstacles, terrain devant lui, objets à saisir et personnes à proximité. Savoir ce que chaque capteur extéroceptif peut voir, où il échoue et comment le combiner avec la proprioception est une base de la conception de tout robot qui travaille dans un environnement non structuré.

Applications principales

• Détection et évitement d'obstacles pour les robots mobiles
• Locomotion à pattes perceptive dans les escaliers et en terrain accidenté
• Détection d'objets et estimation de pose pour la manipulation
• Cartographie, localisation et SLAM
• Classification du terrain pour la conduite tout-terrain
• Détection et suivi des personnes pour la sécurité

En pratique

Une équipe travaillant sur un quadrupède ajoute une couche perceptive à un contrôleur de marche qui fonctionne déjà à l'aveugle. Des caméras de profondeur et un LiDAR alimentent une carte d'élévation autour du robot, et la politique reçoit des échantillons de hauteur autour de chaque pied en plus des états articulaires et des données de l'IMU. En test, le robot monte désormais des escaliers sur lesquels il trébuchait auparavant, mais il chancelle dans les hautes herbes, où la carte montre une surface solide qui n'existe pas. L'équipe réentraîne la politique avec des cartes de hauteur randomisées et corrompues pour qu'elle apprenne à s'appuyer sur la proprioception lorsque les contacts des pieds contredisent la carte, et enregistre les deux flux pour repérer les terrains où l'entrée extéroceptive trompe le robot.

Idées reçues

• L'extéroception signifie les caméras — elle couvre toute perception du monde extérieur, y compris le LiDAR, le radar, le sonar, les microphones et le GNSS
• Davantage de capteurs extéroceptifs rendent toujours un robot plus robuste — chacun ajoute des modes de défaillance et de la latence, et le contrôleur a besoin d'un moyen de savoir quand la vue extérieure est fausse
• L'extéroception et la proprioception sont des choix concurrents — la plupart des robots performants les combinent, en utilisant la proprioception pour une rétroaction rapide et fiable et l'extéroception pour l'anticipation
• Chaque capteur se range nettement dans une catégorie — les IMU, les capteurs de contact et d'effort se situent près de la frontière, et leur classement dépend de l'usage qui est fait du signal

Qui devrait le savoir

• Ingénieurs en perception et en capteurs
• Développeurs de la locomotion des robots à pattes et des robots mobiles
• Ingénieurs en fusion de capteurs et en estimation d'état
• Étudiants en robotique qui apprennent comment les capteurs sont classés

Technologies associées

• LiDAR
• Caméras de profondeur stéréo et à temps de vol (Time-of-Flight)
• Radar
• Télémètres à ultrasons
• Cartographie d'élévation (Elevation Mapping)
• Fusion de capteurs multimodale

Termes associés

• Proprioception
• LIDAR
• Depth Camera
• RGB Camera
• Elevation Map
• Sensor Fusion

Projets associés

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
• Patchwork++: Fast and robust ground segmentation for 3D LiDAR point clouds from KAIST
• Vision Pilot: Autoware Foundation's open-source L2 ADAS stack from a single camera
• RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI