APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

Autori: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

APriCoT suddivide un cambio di presa in mano in quattro brevi primitive di RL costruite da detach, crossover e attach, così una Shadow Hand Lite simulata ruota un oggetto di mezzo giro e raggiunge la presa obiettivo.

Perché è importante

La maggior parte della manipolazione in mano appresa premia solo la rotazione e non verifica la presa finale, che è ciò che decide se l'utensile potrà poi essere usato. L'articolo mostra che la scomposizione per stato di contatto rende questo compito apprendibile dove due baseline pubblicate avevano fallito. Poiché la ricompensa è condivisa tra le primitive, si possono aggiungere nuove transizioni senza progettare nuove ricompense.

Problema

La manipolazione di utensili in mano deve sia muovere un utensile all'interno della mano sia terminare in una presa adatta al compito successivo, come tenere una scatola in modo che la sua apertura sia libera per versare. Apprenderla con l'RL è difficile perché la presa obiettivo si raggiunge solo dopo molti cambiamenti dello stato di contatto, il che rende la ricompensa sparsa, e perché i movimenti delle dita necessari variano molto con lo stato di contatto, imponendo un'esplorazione ampia e inefficiente in termini di campioni.

Soluzione proposta

APriCoT costruisce un grafo delle transizioni dello stato di contatto a partire da tre rappresentazioni d'azione (detach, crossover, attach), ammettendo solo stati con una presa prensile, almeno tre dita in contatto e le dita mantenute nell'ordine pollice-indice-medio-anulare. Il compito obiettivo, ruotare di mezzo giro un oggetto allungato e tornare a una presa di precisione, si suddivide in quattro primitive che spostano ciascuna un dito oltre l'oggetto, con una policy per primitiva, una ricompensa a passi condivisa e ogni policy che parte dagli stati di uscita della precedente. Le policy vengono addestrate in Isaac Gym con PPO in uno schema insegnante-studente, in cui lo studente inferisce la forma dell'oggetto dagli angoli dei giunti comandati e misurati.

Idee chiave

• Descrivere un cambio di presa come transizioni dello stato di contatto trasforma un unico compito lungo con ricompensa sparsa in brevi primitive in cui le dita eseguono movimenti simili.
• Iniziare e terminare ogni primitiva nello stato più stabile, con tutte le dita sull'oggetto, rende gli stati iniziali facili da campionare in simulazione e facili da concatenare tra policy.
• Addestrare ogni primitiva sull'intera sequenza detach-crossover-attach, anziché su ogni passo separatamente, evita movimenti inutili come sollevare troppo un dito prima del crossover.
• La differenza tra angoli dei giunti comandati e misurati permette alla policy studente di codificare la forma dell'oggetto; il t-SNE delle sue variabili latenti si raggruppa per forma.

Risultati principali

• Entrambe le baseline hanno fallito il compito: un metodo di rotazione in mano modificato (Baseline A) ha ruotato l'oggetto ma non ha raggiunto la presa desiderata, e un metodo per oggetti pizzicabili (Baseline B) ha fatto rotolare l'oggetto durante il crossover e lo ha lasciato cadere.
• APriCoT ha completato la rotazione di mezzo giro e raggiunto la presa di precisione desiderata; l'introduzione riporta un tasso di successo del 90 % per oggetti di varie forme.
• Nel test di robustezza (1.000 stati iniziali campionati per forma, profondità 0,02-0,035 m, ε2 da ≃0 a 1), la sezione IV-B riporta un successo superiore al 90 % per quasi tutte le forme, con tassi simili su forme non usate nell'addestramento.
• La sezione IV-B riporta anche circa il 75 % di successo per oggetti ellittici spessi (grande profondità, ε2 alto), che gli autori attribuiscono alla curvatura che li fa scivolare lateralmente.
• L'addestramento ha eseguito 32.768 ambienti paralleli in Isaac Gym su una GPU NVIDIA RTX 3090, con simulazione a 120 Hz e controllo a 20 Hz.

Limiti

• Tutti gli esperimenti sono in simulazione; gli autori si aspettano che la domain randomization e l'apprendimento insegnante-studente aiutino il trasferimento sim-to-real, ma non hanno fatto prove sull'hardware.
• La posa dell'oggetto, come la rotazione di rollio, non può essere rilevata dai soli angoli dei giunti, e non rilevarla può destabilizzare l'oggetto e farlo cadere; gli autori prevedono di aggiungere informazioni visive.
• Concentrarsi solo sulle transizioni dello stato di contatto non garantisce un orientamento desiderato dell'oggetto dopo la manipolazione.
• Il grafo delle transizioni dello stato di contatto è progettato a mano, cosa che gli autori definiscono laboriosa su molte operazioni.
• Viene dimostrata una sola operazione (mezzo giro per tornare a una presa di precisione, quattro primitive).

Impatto sul settore

Vincitore dello Humanoids 2024 Best Oral Presentation Award e citato 2 volte. L'articolo elenca gli iperparametri della ricompensa, gli intervalli di randomizzazione e le dimensioni delle reti. Non indica un rilascio di codice o di modelli.

Abstract

La manipolazione di utensili in mano è un'operazione che non solo manipola un utensile all'interno della mano (cioè la manipolazione in mano), ma ottiene anche, dopo la manipolazione, una presa adatta a un compito. Questo studio mira a ottenere un'abilità di manipolazione di utensili in mano tramite deep reinforcement learning. La difficoltà di apprendere questa abilità nasce dal fatto che questa manipolazione richiede (A) di esplorare cambiamenti dello stato di contatto a lungo termine per ottenere la presa desiderata e (B) movimenti molto vari a seconda della transizione dello stato di contatto. (A) porta a una ricompensa sparsa per una presa riuscita, e (B) richiede a un agente di RL di esplorare ampiamente lo spazio stato-azione per apprendere azioni molto varie, portando a inefficienza campionaria. Per affrontare questi problemi, questo studio propone Action Primitives based on Contact-state Transition (APriCoT). APriCoT scompone la manipolazione in primitive d'azione a breve termine descrivendo l'operazione come una transizione dello stato di contatto basata su tre rappresentazioni d'azione (detach, crossover, attach). In ogni primitiva d'azione, alle dita è richiesto di eseguire azioni brevi e simili. Addestrando una policy per ogni primitiva possiamo mitigare i problemi derivanti da (A) e (B). Questo studio si concentra su un'operazione fondamentale come esempio di manipolazione di utensili in mano: ruotare di mezzo giro un oggetto allungato tenuto con una presa di precisione per tornare alla presa iniziale. I risultati sperimentali hanno dimostrato che il nostro metodo è riuscito sia nella rotazione sia nel raggiungimento della presa desiderata, a differenza degli studi esistenti. Inoltre, si è riscontrato che la policy era robusta ai cambiamenti di forma dell'oggetto.

Link

• arXiv 2407.11436: https://arxiv.org/abs/2407.11436
• DOI 10.1109/Humanoids58906.2024.10769968: https://doi.org/10.1109/Humanoids58906.2024.10769968
• PDF: https://arxiv.org/pdf/2407.11436v1