Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Eureka: Human-Level Reward Design via Coding Large Language Models

Autori: Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi Fan, Anima Anandkumar · ICLR 2024

ICLR 2024

Licenze

  • Open access
  • Articolo: arXiv.org perpetual, non-exclusive license 1.0

In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.

Perché è importante

I modelli linguistici pianificano bene ad alto livello, ma non erano stati usati per apprendere abilità complesse di basso livello come far girare una penna con destrezza. Eureka progetta ricompense che superano quelle scritte da esperti umani, senza prompt specifici per il compito né modelli di ricompensa.

Soluzione proposta

Eureka usa modelli linguistici allo stato dell'arte come GPT-4 per eseguire un'ottimizzazione evolutiva sul codice di ricompensa; le ricompense vengono poi usate per acquisire abilità tramite apprendimento per rinforzo.

Abstract

I grandi modelli linguistici (LLM) eccellono come pianificatori semantici di alto livello per compiti decisionali sequenziali. Tuttavia, sfruttarli per apprendere compiti complessi di manipolazione di basso livello, come far roteare con destrezza una penna, resta un problema aperto. Colmiamo questa lacuna fondamentale e presentiamo Eureka, un algoritmo di progettazione delle ricompense di livello umano basato sugli LLM. Eureka sfrutta le notevoli capacità di generazione zero-shot, di scrittura di codice e di miglioramento in-context degli LLM più avanzati, come GPT-4, per eseguire un'ottimizzazione evolutiva sul codice delle ricompense. Le ricompense risultanti possono poi essere usate per acquisire abilità complesse tramite apprendimento per rinforzo. Senza alcun prompting specifico per il compito né template di ricompensa predefiniti, Eureka genera funzioni di ricompensa che superano le ricompense progettate da esperti umani. In una suite diversificata di 29 ambienti RL open source che comprendono 10 diverse morfologie di robot, Eureka supera gli esperti umani nell'83% dei compiti, con un miglioramento normalizzato medio del 52%.

Link

  • arXiv 2310.12931: https://arxiv.org/abs/2310.12931
  • PDF: https://arxiv.org/pdf/2310.12931
  • Codice: https://github.com/eureka-research/Eureka
  • Pagina del progetto: https://eureka-research.github.io/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.