Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models

Autori: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Smussare la dinamica di contatto, campionando come fa l'RL o analiticamente con una barriera logaritmica, fornisce gradienti utili; con un modello quasi-dinamico convesso, RRT pianifica poi compiti di destrezza in circa un minuto.

Perché è importante

Il metodo offre un'alternativa online e basata su modello all'addestramento di policy di apprendimento per rinforzo per compiti ricchi di contatti: i piani per rotazione in mano, posizionamento di una penna, presa di un piatto contro una parete e apertura di una porta vengono prodotti nell'ordine di un minuto su una CPU. Gli autori contrappongono questo agli strumenti di RL che si basano su calcoli offline di ore o giorni, e descrivono il loro pianificatore come generalizzabile rispetto ad ambienti e compiti.

Problema

La pianificazione basata su modello attraverso il contatto incontra tre ostacoli: il numero di modi di contatto esplode (la manipolazione in mano in 3D può averne migliaia di miliardi), la dinamica di contatto è rigida e non liscia, quindi i gradienti esplodono o saltano, e il problema di pianificazione è non convesso. L'apprendimento per rinforzo gestisce la manipolazione ricca di contatti campionando e mediando sui modi di contatto, ma si basa su calcoli offline misurati in ore o giorni. I pianificatori esistenti basati sul campionamento per il contatto enumerano o campionano esplicitamente i modi di contatto e scalano male con il numero di contatti.

Soluzione proposta

Gli autori mostrano prima che lo smussamento randomizzato (campionare e mediare, come fa l'RL) e lo smussamento analitico calcolano modelli lineari locali dello stesso surrogato liscio, in modo equivalente per sistemi semplici. Costruiscono poi CQDC, un modello di contatto convesso, quasi-dinamico e differenziabile formulato come programma conico del secondo ordine con il rilassamento dell'attrito di Anitescu, i cui gradienti derivano dalle condizioni KKT e che viene smussato analiticamente con un rilassamento a barriera logaritmica. Infine eseguono RRT con una metrica di distanza di Mahalanobis locale e un passo di estensione costruito dalle linearizzazioni smussate, aggiungono un passo di campionamento dei contatti che riporta il robot in contatto e rifiniscono il percorso risultante con MPC iterativo e shortcutting.

Idee chiave

• Lo smussamento randomizzato (come quello usato dall'RL) e lo smussamento analitico sono due modi di calcolare modelli lineari locali della stessa dinamica smussata; sono equivalenti per sistemi semplici e hanno dato prestazioni simili sugli esempi complessi.
• Lo smussamento analitico tramite un rilassamento a barriera logaritmica richiede una sola risoluzione per linearizzazione, quindi è stato più veloce dello smussamento randomizzato, che media 100 campioni.
• Il modello quasi-dinamico elimina le velocità e la dinamica transitoria, dimezzando lo stato e permettendo passi temporali molto più grandi, così ogni linearizzazione dice al pianificatore di più sul comportamento a lungo termine.
• Una metrica di Mahalanobis locale costruita dalle linearizzazioni smussate permette a RRT di rispettare la raggiungibilità tramite contatto; una metrica euclidea pesata globalmente uniforme e regolata a mano ha dato risultati molto peggiori.
• Il campionamento dei contatti è stato essenziale per i compiti che richiedono di riposizionare il robot (spinta planare, mano planare, rotazione in mano con Allegro) ma non per la presa del piatto o il posizionamento della penna.

Risultati principali

• MPC iterativo, costo minimo su 10 iterazioni e 5 prove: rotazione in mano con Allegro 5,78 con smussamento analitico contro 44,68 con gradienti esatti (non smussati); spinta planare 11,74 contro 31,64.
• Nel compito della mano planare, che attraversa pochi cambi di modo di contatto, anche i gradienti esatti sono andati bene (costo 18,49 contro 26,55 per l'analitico e 17,87 per il randomizzato del primo ordine).
• Con 100 campioni su 32 thread, lo smussamento randomizzato è stato da 2 a 3 volte più lento dello smussamento analitico nell'MPC iterativo (rotazione con Allegro: 40,07 s contro 19,59 s).
• RRT per 1000 iterazioni con smussamento analitico ha richiesto 3,25 s (spinta planare), 31,01 s (rotazione con Allegro), 24,84 s (posizionamento della penna), 12,42 s (apertura della porta) e 117,16 s (presa del piatto); lo smussamento randomizzato del primo ordine ha richiesto da 7,50 s a 161,64 s.
• In tutti i compiti di RRT, usare linearizzazioni esatte per la metrica e l'estensione ha dato una distanza dall'obiettivo e una copertura dello spazio molto peggiori di qualsiasi schema di smussamento.
• Tutti gli esperimenti sono stati eseguiti su un unico desktop con CPU AMD Threadripper 2950 (16 core, 32 thread) e 32 GB di RAM.

Limiti

• Il campionamento dei contatti teletrasporta il robot tra configurazioni, il che non è fisico; funziona solo quando l'oggetto resta in equilibrio statico senza le dita spostate (per esempio una palla appoggiata su un palmo rivolto verso l'alto), non per una mano rivolta verso il basso.
• Passi di estensione grandi producono artefatti non fisici dovuti al rilassamento convesso di Anitescu dell'attrito di Coulomb, quindi serve un passaggio di rifinitura con MPC iterativo e shortcutting per ottenere traiettorie fisicamente realistiche.
• L'ipotesi quasi-dinamica non regge per comportamenti fortemente dinamici.
• La crescita dell'albero può ancora bloccarsi, formando "scope" di molti nodi figli falliti a partire da un solo genitore.
• Tutti i risultati di questa versione sono in simulazione (implementati in Drake); la pianificazione in tempo reale è indicata come lavoro futuro.

Impatto sul settore

L'articolo ha ricevuto il premio T-RO 2024 King-Sun Fu Memorial Best Paper Award (menzione d'onore) e ha 210 citazioni. Rilascia un video dei piani generati; questa versione non fornisce alcun link al codice.

Abstract

Il successo empirico dell'apprendimento per rinforzo (Reinforcement Learning, RL) nel contesto della manipolazione ricca di contatti lascia molto da comprendere da una prospettiva basata su modello, in cui le difficoltà principali sono spesso attribuite a (i) l'esplosione dei modi di contatto, (ii) una dinamica di contatto rigida e non liscia, con i conseguenti gradienti esplosivi / discontinui, e (iii) la non convessità del problema di pianificazione. La natura stocastica dell'RL affronta (i) e (ii) campionando e mediando efficacemente i modi di contatto. D'altra parte, i metodi basati su modello hanno affrontato le stesse sfide smussando analiticamente la dinamica di contatto. Il nostro primo contributo è stabilire l'equivalenza teorica dei due metodi per sistemi semplici e fornire un'equivalenza qualitativa ed empirica su diversi esempi complessi. Per alleviare ulteriormente (ii), il nostro secondo contributo è una formulazione convessa, differenziabile e quasi-dinamica della dinamica di contatto, che si presta a entrambi gli schemi di smussamento e si è dimostrata sperimentalmente molto efficace per la pianificazione ricca di contatti. Il nostro ultimo contributo risolve (iii): mostriamo che i classici algoritmi di pianificazione del moto basati sul campionamento possono essere efficaci nella pianificazione globale quando i modi di contatto sono astratti tramite smussamento. Applicando il nostro metodo a una serie di impegnativi compiti di manipolazione ricca di contatti, dimostriamo che una pianificazione del moto efficiente basata su modello può ottenere risultati paragonabili all'RL con un calcolo drasticamente inferiore. Video: https://youtu.be/12Ew4xC-VwA

Link

• arXiv 2206.10787: https://arxiv.org/abs/2206.10787
• DOI 10.1109/TRO.2023.3300230: https://doi.org/10.1109/TRO.2023.3300230
• PDF: https://arxiv.org/pdf/2206.10787v1