Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Play Data

  • Também chamado: teleoperated play, unstructured play data
  • Categoria: Learning & autonomy › Learning from demonstration
  • Tags: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning

Dados de interação de robôs gravados enquanto um teleoperador humano explora livremente um ambiente sem uma tarefa fixa, usados para treinar políticas condicionadas a objetivos e de horizonte longo.

Definição

Dados de brincadeira (play data) vêm de um estilo de coleta de dados em que um operador humano teleopera um robô, ou em alguns trabalhos age com as próprias mãos, e interage com um ambiente como quiser, em vez de executar uma tarefa predefinida. Em uma sessão de brincadeira o operador pode abrir uma gaveta, empurrar um bloco, acionar um interruptor e pegar um brinquedo, em qualquer ordem. A ideia foi trazida para o aprendizado de robôs por Corey Lynch e colegas em 2019, em seu trabalho sobre aprender planos latentes a partir de brincadeira.

A brincadeira tem várias vantagens práticas sobre as demonstrações de tarefas. É barata de coletar, já que não é preciso reiniciar a cena nem definir o sucesso de cada episódio; cobre uma ampla gama de comportamentos e as transições entre eles; e naturalmente inclui recuperações e tentativas parciais. Como os dados não têm rótulos de tarefa, eles costumam ser combinados com a rerrotulagem retrospectiva (hindsight relabeling): qualquer janela da gravação pode ser tratada como uma demonstração de como alcançar o estado do seu fim, o que transforma a brincadeira sem rótulos em dados de treinamento para políticas condicionadas a objetivos. Descrições em linguagem natural podem ser adicionadas depois a um subconjunto de janelas para treinar políticas condicionadas por linguagem.

Os dados de brincadeira também têm pontos fracos. O comportamento é multimodal, já que o mesmo início e o mesmo objetivo podem ser conectados de maneiras diferentes, o que empurra os métodos para políticas de variáveis latentes ou baseadas em difusão capazes de representar vários modos. A cobertura depende do operador, então estados raramente visitados continuam mal aprendidos. Alguns métodos gravam pessoas brincando com as próprias mãos, o que é mais rápido que a teleoperação, e usam esses dados para aprender planos de alto nível que uma política específica do robô, treinada com uma quantidade menor de dados teleoperados, depois executa.

Por que importa

Coletar demonstrações específicas para cada habilidade não escala. Os dados de brincadeira permitem que uma sessão de interação livre sirva a muitas tarefas ao mesmo tempo, e se tornaram uma base comum para o aprendizado por imitação condicionado a objetivos, condicionado por linguagem e de horizonte longo.

Principais aplicações

  • Treinamento de políticas de manipulação condicionadas a objetivos
  • Aprendizado por imitação condicionado por linguagem com anotação retrospectiva
  • Tarefas de horizonte longo construídas encadeando subobjetivos
  • Pré-treinamento de representações de planos latentes ou de habilidades
  • Benchmarks de manipulação multitarefa sobre mesa

Na prática

Um laboratório monta uma mesa no estilo de cozinha com uma gaveta, um armário, blocos e um interruptor de luz, e um operador teleopera um braço robótico com um controle de VR em sessões longas sem instruções, interagindo com o que escolher. As gravações de imagens de câmera, propriocepção e ações são cortadas em janelas curtas durante o treinamento, cada uma rotulada com seu último quadro como objetivo. Uma política condicionada a objetivos aprende a alcançar qualquer imagem-objetivo, e um pequeno subconjunto de janelas é depois anotado com instruções como "abra a gaveta" para habilitar comandos em linguagem. No teste, o robô encadeia vários objetivos para concluir uma tarefa mais longa, como abrir a gaveta, colocar um bloco dentro e fechá-la.

Equívocos comuns

  • Dados de brincadeira são exploração aleatória — são comportamento humano intencional; apenas não estão ligados a uma tarefa predefinida
  • Dados de brincadeira precisam de rótulos de tarefa para serem úteis — a rerrotulagem retrospectiva transforma qualquer segmento em um exemplo de alcance de objetivo sem rótulos
  • Dados de brincadeira substituem totalmente as demonstrações de tarefas — a cobertura depende do operador, então comportamentos raros ou precisos ainda podem exigir demonstrações direcionadas

Quem deve saber

  • Pesquisadores de aprendizado por imitação
  • Equipes de coleta de dados e teleoperação de robôs
  • Engenheiros que treinam políticas de manipulação condicionadas por linguagem
  • Pesquisadores que trabalham com manipulação de horizonte longo

Tecnologias relacionadas

  • Rerrotulagem retrospectiva (Hindsight Relabeling)
  • Learning from Play (Play-LMP)
  • Teleoperação com VR (VR Teleoperation)
  • Benchmark CALVIN (CALVIN Benchmark)
  • Autoencoders variacionais condicionais (Conditional Variational Autoencoders)

Termos relacionados

  • Goal-Conditioned Policy
  • Imitation Learning
  • Teleoperation
  • Behavior Cloning
  • Visuomotor Policy

Projetos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
  • XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
  • DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.