Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances

Autori: Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Chuyuan Fu, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Daniel Ho, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Eric Jang, Rosario Jauregui Ruano, Kyle Jeffrey, Sally Jesmonth, Nikhil J Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Kuang-Huei Lee, Sergey Levine, Yao Lu, Linda Luu, Carolina Parada, Peter Pastor, Jornell Quiambao, Kanishka Rao, Jarek Rettinghouse, Diego Reyes, Pierre Sermanet, Nicolas Sievers, Clayton Tan, Alexander Toshev, Vincent Vanhoucke, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Mengyuan Yan, Andy Zeng · CoRL 2022

CoRL 2022

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

SayCan combina gli LLM con affordance robotiche apprese (funzioni di valore), così l'LLM fornisce conoscenza di alto livello sul compito ancorata alla fattibilità fisica, consentendo di seguire istruzioni in linguaggio naturale a lungo orizzonte su un vero manipolatore mobile.

Perché è importante

SayCan è stato uno dei primi e più influenti lavori a mostrare come gli LLM potessero essere integrati in pratica nei sistemi robotici. Ha introdotto l'intuizione decisiva che gli output degli LLM devono essere ancorati alle capacità reali del robot: il modello non deve solo dire cosa fare, ma considerare cosa può fare. Questo paradigma di 'LLM come pianificatore + ancoraggio alle affordance' è diventato fondamentale per la robotica condizionata dal linguaggio.

Problema

I grandi modelli linguistici codificano una ricca conoscenza semantica ma non sono ancorati alla realtà fisica: sanno pianificare compiti ma non possono valutare se un robot è effettivamente in grado di eseguire ogni passaggio. Questa scollatura rende gli LLM inaffidabili nel seguire istruzioni per robot nel mondo reale.

Soluzione proposta

SayCan combina la conoscenza semantica di un LLM con funzioni di affordance apprese (funzioni di valore di abilità preaddestrate) che valutano ogni azione candidata in base alla sua fattibilità fisica. L'LLM propone cosa fare, mentre le affordance filtrano ciò che il robot può fare, permettendo una pianificazione a lungo orizzonte ancorata alla realtà.

Idee chiave

  • Gli LLM codificano conoscenza procedurale utile ma mancano di ancoraggio fisico; combinarli con modelli di affordance appresi colma questa lacuna
  • Le funzioni di valore delle abilità preaddestrate valutano le proposte dell'LLM in base alla fattibilità, selezionando solo le azioni che il robot può eseguire in modo affidabile
  • Consente di portare a termine compiti a lungo orizzonte a partire da istruzioni astratte in linguaggio naturale (ad esempio 'Ho rovesciato la mia bevanda, puoi aiutarmi?')
  • Dimostrato su un vero manipolatore mobile di Everyday Robots in una cucina
  • Generalizza tra compiti diversi senza fine-tuning del modello linguistico specifico per il compito

Risultati principali

  • Ottiene un tasso di successo end-to-end del 74% su 101 compiti reali a lungo orizzonte in cucina con un braccio robotico mobile
  • LLM + ancoraggio alle affordance sceglie le abilità appropriate nell'84% dei casi contro il 45% del solo LLM
  • Gestisce istruzioni in più passaggi estese nel tempo (fino a 12 passaggi in sequenza)
  • Dimostra una capacità emergente di rispondere alle preferenze umane e a richieste contestuali
  • Esperimenti su robot reale con il braccio robotico mobile di Everyday Robots nella cucina di un ufficio

Limiti

  • Si basa su una libreria fissa di abilità di manipolazione preaddestrate: non può generalizzare oltre le primitive disponibili
  • Le funzioni di affordance vanno addestrate separatamente per ogni abilità, il che richiede molti dati per ciascuna
  • La pianificazione è greedy (un passo alla volta) invece di ottimizzare davvero sull'intero orizzonte del compito
  • Le prestazioni peggiorano nettamente nei compiti che richiedono abilità al di fuori del repertorio preaddestrato

Impatto sul settore

SayCan è stata una delle prime e più influenti dimostrazioni dell'uso degli LLM per la pianificazione dei compiti dei robot. Ha introdotto il concetto fondamentale di ancoraggio alle affordance, cioè che l'output degli LLM va filtrato in base a ciò che un robot può fare fisicamente, diventato il paradigma dominante della robotica condizionata dal linguaggio. Praticamente ogni articolo successivo sugli LLM per la robotica si basa su questo approccio o lo cita.

Abstract

I modelli linguistici di grandi dimensioni possono codificare una grande quantità di conoscenza semantica sul mondo. Tale conoscenza potrebbe essere estremamente utile per i robot che devono agire in base a istruzioni di alto livello, estese nel tempo, espresse in linguaggio naturale. Tuttavia, una debolezza significativa dei modelli linguistici è la mancanza di esperienza nel mondo reale, che rende difficile sfruttarli per prendere decisioni all'interno di un dato embodiment. Proponiamo di fornire un ancoraggio al mondo reale tramite abilità preaddestrate, usate per vincolare il modello a proporre azioni in linguaggio naturale che siano sia fattibili sia appropriate al contesto. Il robot può fungere da "mani e occhi" del modello linguistico, mentre il modello linguistico fornisce conoscenza semantica di alto livello sul compito. Valutiamo il nostro metodo su una serie di compiti robotici nel mondo reale, dove mostriamo la necessità dell'ancoraggio al mondo reale e che questo approccio è in grado di portare a termine istruzioni in linguaggio naturale astratte e a lungo orizzonte su un manipolatore mobile.

Link

  • arXiv 2204.01691: https://arxiv.org/abs/2204.01691
  • PDF: https://arxiv.org/pdf/2204.01691
  • Codice: https://github.com/google-research/google-research/tree/master/saycan
  • Pagina del progetto: https://say-can.github.io/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.