Articulated object

Catégorie: Planning & manipulation › Manipulation
Mots-clés: manipulation, 3d-perception, kinematics, mobile-manipulation, household-robotics

Un objet composé de parties rigides reliées par des articulations, généralement rotoïdes ou prismatiques, comme une porte, un tiroir, un ordinateur portable ou un four, dont les parties bougent les unes par rapport aux autres quand un robot le manipule.

Définition

Un objet articulé (articulated object) est constitué de corps rigides reliés par des articulations qui permettent un mouvement relatif contraint. En manipulation robotique, les articulations ont généralement un seul degré de liberté : des articulations rotoïdes pour les portes, les couvercles et les écrans d'ordinateur portable, et des articulations prismatiques pour les tiroirs et les panneaux coulissants. De nombreuses formulations, dont celle de FlowBot3D, supposent qu'un corps est fixé au monde, comme le caisson d'un placard ou un four, de sorte que la tâche consiste à déplacer les autres parties. En général, des objets articulés comme des ciseaux, une pince ou un ordinateur portable posé sur un bureau peuvent aussi se déplacer d'un seul bloc.

Manipuler de tels objets implique de respecter la contrainte cinématique. Un robot qui ouvre une porte doit déplacer sa main le long d'un arc autour de l'axe de la charnière ; tirer tout droit en arrière génère de grandes forces internes ou fait perdre la prise. Les approches diffèrent par ce qu'elles modélisent. Les chaînes de traitement fondées sur un modèle estiment explicitement la structure cinématique : quelles parties sont des corps, le type d'articulation, la direction et la position de l'axe, et l'état articulaire courant, souvent en observant les parties en mouvement et en ajustant des modèles rotoïdes ou prismatiques. Les approches par apprentissage prédisent cette structure à partir d'un seul nuage de points ou d'une seule image, ou s'en passent et prédisent directement des grandeurs locales, comme un flux d'articulation (articulation flow) donnant la direction dans laquelle chaque point d'une partie se déplacerait, ou une carte d'affordances indiquant où saisir et tirer. La perception interactive (interactive perception) combine les deux : le robot déplace un peu une partie, observe le résultat et met à jour son estimation.

Les objets articulés sont généralement représentés comme les robots, sous forme d'arbres cinématiques dans des formats comme URDF. Des jeux de données de simulation comme PartNet-Mobility, utilisé avec le simulateur SAPIEN, fournissent un grand ensemble d'objets domestiques annotés pour l'entraînement et le test. Les difficultés pratiques comprennent les limites articulaires inconnues, le frottement et les charges de ressorts, les loquets et les poignées qui demandent une action séparée, et les vues partielles dans lesquelles l'axe de l'articulation est caché.

Pourquoi c'est important

Une grande partie de l'environnement bâti quotidien est articulée : portes, tiroirs, placards, réfrigérateurs et appareils électroménagers. Les robots domestiques et de service doivent les ouvrir et les fermer de manière fiable, ce qui exige de raisonner sur les contraintes cinématiques au lieu de traiter la cible comme un corps rigide libre.

Applications principales

Ouvrir des portes, des tiroirs et des placards dans les logements et les bureaux
Utiliser des appareils comme les fours, les lave-vaisselle et les réfrigérateurs
Bancs d'essai de manipulation mobile en milieu domestique
Construire des jumeaux numériques interactifs de scènes intérieures
Utiliser des outils à charnière comme les pinces et les ciseaux

En pratique

Une équipe qui programme un manipulateur mobile pour ouvrir des placards de cuisine acquiert un nuage de points du placard avec une caméra de profondeur. Un réseau segmente la porte et prédit soit l'axe de la charnière, soit une direction de mouvement par point, et le système choisit une prise sur la poignée ou sur le bord de la porte. Le bras suit ensuite l'arc prédit sous commande en impédance, de sorte que les erreurs d'estimation de l'axe sont absorbées par la compliance au lieu de produire de grandes forces. Une fois que la porte a un peu bougé, le système réestime l'axe à partir de la trajectoire réelle de la main et continue avec l'arc corrigé, en s'arrêtant lorsque la force mesurée indique la butée de l'articulation.

Idées reçues

Ouvrir une porte est un pur problème de commande en position — la main doit suivre la contrainte de l'articulation, donc la compliance ou la commande en force comptent autant que la précision des positions
L'axe de l'articulation doit être connu exactement avant d'agir — de nombreux systèmes partent d'une estimation grossière et l'affinent pendant l'interaction
Les objets articulés sont toujours fixés au monde — de nombreux bancs d'essai supposent une base fixe par simplicité, mais les outils et les appareils portables se déplacent aussi d'un seul bloc

Qui devrait le savoir

Ingénieurs en manipulation mobile et domestique
Chercheurs en perception robotique travaillant sur la compréhension de scènes 3D
Concepteurs de simulations et de jeux de données
Développeurs de robots de service

Technologies associées

Jeu de données PartNet-Mobility (PartNet-Mobility Dataset)
Simulateur SAPIEN (SAPIEN Simulator)
URDF
Réseaux de segmentation de nuages de points (Point Cloud Segmentation Networks)
Estimation de la structure cinématique (Kinematic Structure Estimation)

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design