Task-Oriented Grasping

Detto anche: TOG, task-aware grasping
Categoria: Planning & manipulation › Manipulation
Tag: grasping, manipulation, affordances, tool-use, semantic-grasping

Scegliere una presa in base a ciò che il robot farà subito dopo con l'oggetto, come tenere un coltello per il manico per tagliare, e non solo in base alla stabilità della presa.

Definizione

La maggior parte dei pianificatori di presa si pone una sola domanda: questa presa terrà l'oggetto? La presa orientata al compito (task-oriented grasping) ne aggiunge una seconda: questa presa permetterà al robot di svolgere il compito previsto? Una tazza tenuta per il bordo può essere salda ma impedisce di versare; un cacciavite tenuto per lo stelo non si può girare. La scelta della presa orientata al compito combina quindi la stabilità della presa con i vincoli del compito: quale parte dell'oggetto si può toccare, quali direzioni di avvicinamento lasciano libera la parte funzionale e quali forze e coppie la presa deve sostenere mentre il compito viene svolto.

Gli approcci sono cambiati nel tempo. I primi lavori analitici descrivevano il compito tramite l'insieme di wrench che avrebbe applicato all'oggetto e preferivano le prese in grado di resistere a quell'insieme, come nelle misure di qualità della presa orientate al compito di Li e Sastry per mani a più dita. Lavori successivi hanno codificato le parti degli oggetti e le loro affordance, etichettando regioni come manico, lama o beccuccio, e hanno appreso quali parti si adattano a quali compiti da dataset di oggetti annotati con prese specifiche per il compito, come TaskGrasp. I metodi zero-shot recenti generano molte prese candidate stabili con un generatore di prese generico e poi le ordinano usando il linguaggio: LERF-TOGO, per esempio, usa un radiance field con linguaggio incorporato per trovare la parte dell'oggetto nominata in una query e tiene le prese su quella parte.

La presa orientata al compito è strettamente legata al rilevamento delle affordance, ma non coincide con esso. Una mappa di affordance dice in quale punto di un oggetto potrebbe avvenire un'azione; la presa orientata al compito è la decisione su quale presa specifica eseguire, dati la pinza, lo sbraccio del robot e il movimento che segue. Il compito può coinvolgere anche un'altra persona: in un passaggio di oggetti, il robot spesso afferra in modo che il manico resti libero e rivolto verso chi riceve.

Perché è importante

I robot che usano gli oggetti, e non si limitano a spostarli, falliscono se prendono un oggetto nel modo sbagliato e poi devono riafferrarlo o rinunciare. Una scelta della presa consapevole del compito incide anche sulla sicurezza, per esempio quando si passano utensili affilati alle persone.

Applicazioni principali

Uso di utensili come martelli, cacciaviti e spatole
Manipolazione domestica e in cucina
Passaggio sicuro di oggetti alle persone
Versare e manipolare contenitori
Assemblaggio in cui un'estremità di un pezzo deve restare libera per l'inserimento

In pratica

A un assistente di cucina viene chiesto di passare un coltello a una persona. La percezione segmenta il coltello e un generatore di prese propone molte prese a pinza parallela lungo di esso. Un passaggio a livello di parti, che usa un segmentatore di parti addestrato oppure una query in linguaggio naturale a un modello visione-linguaggio, separa la lama dal manico. Per il passaggio il robot tiene le prese che lasciano il manico libero e rivolto verso la persona; se gli si chiede di tagliare, tiene invece le prese sul manico. I candidati rimanenti vengono verificati per raggiungibilità e per capire se il braccio può eseguire il movimento successivo senza arrivare ai limiti dei giunti.

Idee sbagliate comuni

Una presa stabile è una buona presa — la stabilità è necessaria ma non sufficiente; la presa deve anche lasciare l'oggetto utilizzabile per il compito
Ogni oggetto ha un'unica presa corretta — la presa giusta dipende dal compito; lo stesso coltello si tiene in modo diverso per tagliare e per porgerlo
La presa orientata al compito richiede dati di addestramento specifici per il compito per ogni oggetto — i metodi zero-shot recenti ordinano prese candidate generiche usando modelli linguistici e modelli visione-linguaggio, anche se dataset dedicati aiutano ancora nelle distinzioni fini tra parti

Chi dovrebbe saperlo

Ricercatori di manipolazione che lavorano sull'uso di utensili
Ingegneri di pianificazione della presa
Ricercatori di interazione uomo-robot che studiano il passaggio di oggetti
Sviluppatori di robot di servizio

Tecnologie correlate

Metriche di qualità della presa (Grasp Quality Metrics)
Segmentazione delle parti (Part Segmentation)
Modelli visione-linguaggio (Vision-Language Models)
Language Embedded Radiance Fields (LERF)
Dataset TaskGrasp (TaskGrasp Dataset)
Rilevamento delle pose di presa (Grasp Pose Detection)

Termini correlati

Progetti correlati

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments