Category-Level Manipulation

• Categoria: Planning & manipulation › Manipulation
• Tag: manipulation, generalization, pose-estimation, 3d-perception, imitation-learning

Manipolazione che generalizza a tutte le istanze di una categoria di oggetti, come qualsiasi tazza o qualsiasi cassetto, comprese istanze mai viste prima e senza i loro modelli CAD.

Definizione

Manipolazione a livello di categoria (category-level manipulation) mira a dare a un robot abilità che funzionino su qualsiasi membro di una categoria di oggetti invece che su un oggetto specifico. Un robot che ha imparato ad appendere una tazza per il manico dovrebbe saper appendere una tazza di forma, dimensioni e colore diversi che non ha mai visto, senza che gli venga fornito un suo modello 3D. Questo si colloca tra la manipolazione a livello di istanza, in cui ogni oggetto ha un modello CAD noto, e la manipolazione del tutto generale di oggetti arbitrari.

La difficoltà centrale è che le istanze di una categoria differiscono nella forma, quindi una posa fissa dell'oggetto non significa la stessa cosa per ogni istanza. I metodi a livello di categoria definiscono perciò una rappresentazione condivisa e rilevante per il compito su tutta la categoria. Tra gli esempi ci sono la posa a livello di categoria in un sistema di riferimento canonico normalizzato, come in NOCS per la stima della posa 6D e delle dimensioni; insiemi di keypoint semantici, come il centro del bordo e il manico di una tazza, come in kPAM; e descrittori densi appresi che associano a punti corrispondenti su istanze diverse feature simili, come in Neural Descriptor Fields. Il compito viene quindi scritto in termini di quella rappresentazione, per esempio come relazione obiettivo tra keypoint o come posa della pinza rispetto al sistema di riferimento canonico, e trasferito a una nuova istanza stimando su di essa la rappresentazione.

Un'attrattiva è l'efficienza dei dati: una singola dimostrazione su un'istanza può, in linea di principio, essere trasferita a tutte le altre attraverso la rappresentazione condivisa. Il prezzo è che le categorie devono essere definite in anticipo, l'addestramento richiede molte istanze per categoria, di solito da dataset di forme sintetiche, e le prestazioni peggiorano sui membri insoliti la cui geometria o funzione si discosta dal training set.

Perché è importante

Case, magazzini e laboratori reali contengono molte varianti dello stesso tipo di oggetto, e fornire un modello CAD o una nuova dimostrazione per ciascuna non è pratico. I metodi a livello di categoria permettono a un'abilità insegnata una volta di applicarsi a un'intera famiglia di oggetti, il che è un prerequisito per robot che lavorino al di fuori di contesti industriali fissi.

Applicazioni principali

• Compiti domestici con tazze, bottiglie, ciotole e utensili
• Apertura di cassetti, porte e altri oggetti articolati di design variabile
• Kitting e pick-and-place di varianti di prodotto nei magazzini
• Trasferimento di una singola dimostrazione a nuove istanze di oggetti
• Presa orientata al compito di utensili per le loro parti funzionali

In pratica

Un team vuole che un robot collochi tazze diritte su una rastrelliera. Addestra uno stimatore di posa e keypoint a livello di categoria su modelli sintetici di tazze resi con texture randomizzate e registra una dimostrazione: la posa della pinza rispetto al keypoint del manico al momento della presa e la posa obiettivo del sistema di riferimento canonico della tazza rispetto al piolo della rastrelliera. In funzione, una telecamera di profondità segmenta una nuova tazza, la rete predice la sua posa canonica e i suoi keypoint, la presa e il posizionamento memorizzati vengono riespressi per questa istanza, e un pianificatore del movimento genera la traiettoria del braccio. I fallimenti vengono registrati sulle tazze con manici insoliti, che vengono poi aggiunte come forme extra al training set.

Idee sbagliate comuni

• I metodi a livello di categoria richiedono comunque un modello CAD di ogni oggetto — l'obiettivo è gestire istanze mai viste usando solo una rappresentazione appresa per l'intera categoria
• Qualsiasi classe ampia di oggetti conta come categoria — i metodi di solito si basano su geometria e funzione condivise, come tazze o laptop, e faticano con classi definite in modo vago come gli utensili
• Il centro e l'orientamento dell'oggetto bastano per trasferire un'abilità — poiché le forme differiscono, le parti rilevanti per il compito, come manici o bordi, di solito richiedono propri keypoint o corrispondenze

Chi dovrebbe saperlo

• Ricercatori di manipolazione che lavorano sulla generalizzazione
• Ingegneri di percezione che costruiscono stimatori della posa degli oggetti
• Sviluppatori di robot domestici e di servizio
• Professionisti dell'apprendimento per imitazione

Tecnologie correlate

• Stima della posa 6D a livello di categoria (Category-Level 6D Pose Estimation)
• NOCS
• kPAM
• Neural Descriptor Fields
• Keypoint semantici (Semantic Keypoints)
• ShapeNet

Termini correlati

• Task-Oriented Grasping
• Affordance
• Articulated object
• Imitation Learning
• Point Cloud
• Equivariance

Progetti correlati

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Video

• Lecture 14 | MIT 6.881 (Robotic Manipulation), Fall 2020 | Category-level Manipulation: underactuated