6-DoF Grasp Pose

• Detto anche: 6-DoF grasp
• Categoria: Planning & manipulation › Manipulation
• Tag: grasping, pose-estimation, point-clouds, manipulation, grasp-detection

La posizione 3D e l'orientamento 3D completi di una pinza in cui questa deve chiudersi su un oggetto, in contrapposizione alle prese planari o dall'alto, che hanno meno parametri liberi.

Definizione

Una posa di presa 6-DoF (6-DoF grasp pose) specifica dove deve trovarsi una pinza quando si chiude su un oggetto: tre gradi di libertà per la posizione e tre per l'orientamento, che insieme formano un elemento di SE(3). Di solito è espressa come la posa di un sistema di riferimento della pinza, spesso al centro tra i polpastrelli, rispetto alla telecamera, alla base del robot o all'oggetto. Per una pinza a ganasce parallele la descrizione viene spesso estesa con l'apertura, e per le mani a più dita con gli angoli dei giunti delle dita, ma è la parte a 6 DoF che permette alla pinza di avvicinarsi da qualsiasi direzione.

Il termine si usa soprattutto in contrapposizione a rappresentazioni della presa di dimensione inferiore. I primi metodi di presa basati sull'apprendimento prevedevano prese planari, come rettangoli orientati in un'immagine, che equivalgono a un avvicinamento dall'alto con una posizione, una profondità e una rotazione attorno all'asse verticale, circa quattro gradi di libertà. Sono adeguate per oggetti appoggiati in piano in un contenitore visto dall'alto, ma non permettono di afferrare una tazza di lato, una bottiglia coricata su uno scaffale o un oggetto tenuto da una persona. I metodi 6-DoF cercano nell'intero spazio delle direzioni di avvicinamento, il che li rende più generali ma anche più difficili: lo spazio è più grande, molte pose candidate collidono con l'oggetto o con la scena, e il risultato deve essere raggiungibile dal braccio.

Le pipeline 6-DoF tipiche partono da una nuvola di punti parziale. I metodi basati sul campionamento, come Grasp Pose Detection, propongono molte pose della pinza con euristiche geometriche come il contatto antipodale e poi le valutano con un classificatore appreso. I metodi generativi, come 6-DOF GraspNet, campionano pose di presa da una distribuzione appresa e le affinano con un valutatore appreso, mentre Contact-GraspNet predice prese ancorate a punti di superficie osservati di una scena completa. Ogni candidata viene poi verificata contro le collisioni, risolta con la cinematica inversa ed eseguita con una posa di pre-presa arretrata di poco lungo l'asse di avvicinamento, un avvicinamento in linea retta, la chiusura e il sollevamento. Le convenzioni dei sistemi di riferimento contano: le librerie differiscono su quale asse della pinza sia la direzione di avvicinamento e su dove si trovi l'origine del sistema di riferimento, e una presa a ganasce parallele ruotata di 180 gradi attorno al proprio asse di avvicinamento è fisicamente la stessa presa, il che incide sia sulle funzioni di perdita dell'addestramento sia sulla valutazione.

Perché è importante

La maggior parte degli oggetti reali non è appoggiata in piano in un contenitore. Scaffali, tavoli, ambienti ingombri e oggetti tenuti dalle persone richiedono avvicinamenti da direzioni diverse dalla verticale dall'alto, e le pose di presa 6-DoF sono la rappresentazione che rende possibili queste prese. Sono anche l'interfaccia comune tra i rilevatori di prese e i pianificatori di movimento.

Applicazioni principali

• Prelievo di oggetti da scaffali, tavoli e scene ingombre
• Passaggi da umano a robot di oggetti tenuti in mano da una persona
• Manipolazione mobile in case e magazzini
• Presa di oggetti mai visti a partire da nuvole di punti parziali
• Generazione in simulazione di dataset di prese per l'apprendimento

In pratica

Un robot da cucina deve prendere una tazza in piedi con il manico rivolto dalla parte opposta. Una telecamera di profondità fornisce una nuvola di punti parziale della tazza, e una rete di presa restituisce alcune centinaia di candidate di presa 6-DoF con i rispettivi punteggi. Il software trasforma le candidate nel sistema di riferimento della base del robot, scarta quelle che collidono con il tavolo o con la scena ed esegue la cinematica inversa sulle restanti, tenendo quelle raggiungibili senza avvicinarsi a un limite di giunto. Per la presa migliore, che si chiude sul bordo di lato, il pianificatore porta la pinza a una posa di pre-presa arretrata di 10 centimetri lungo l'asse di avvicinamento della pinza, si avvicina in linea retta, chiude la pinza e solleva. Un errore iniziale è stato ricondotto al fatto che la libreria di presa e la pinza del robot usavano assi di avvicinamento diversi, e si è risolto con una rotazione fissa tra le due convenzioni dei sistemi di riferimento.

Idee sbagliate comuni

• Una posa di presa 6-DoF basta per eseguire una presa — deve comunque superare i controlli di collisione, avere una soluzione di cinematica inversa ed essere raggiunta con un avvicinamento di pre-presa sensato
• Le prese dall'alto bastano per la maggior parte dei compiti — funzionano per oggetti appoggiati in piano in contenitori aperti, ma scaffali, manici rivolti di lato e oggetti tenuti dalle persone richiedono direzioni di avvicinamento che una presa dall'alto non può offrire
• Tutte le librerie di presa usano lo stesso sistema di riferimento della pinza — l'asse di avvicinamento e l'origine del sistema di riferimento differiscono tra gli strumenti, e mescolare le convenzioni produce prese sbagliate senza alcun segnale
• 'GraspNet' indica un unico metodo — 6-DOF GraspNet e il dataset e la baseline GraspNet-1Billion sono lavori distinti di gruppi diversi

Chi dovrebbe saperlo

• Ingegneri della manipolazione e della presa
• Ingegneri della percezione che costruiscono sistemi di pick-and-place
• Ricercatori di apprendimento robotico che lavorano sul rilevamento delle prese
• Sviluppatori di manipolazione mobile

Tecnologie correlate

• 6-DOF GraspNet
• Contact-GraspNet
• Grasp Pose Detection (GPD)
• MoveIt
• Open3D

Termini correlati

• Grasp Planning
• Antipodal Grasp
• Grasp Quality Metric
• SE(3)
• Point Cloud
• 6D rotation representation

Progetti correlati

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments