Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Play Data

  • También llamado: teleoperated play, unstructured play data
  • Categoría: Learning & autonomy › Learning from demonstration
  • Etiquetas: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning

Datos de interacción de un robot grabados mientras un teleoperador humano explora libremente un entorno sin una tarea fija, usados para entrenar políticas condicionadas por objetivo y de horizonte largo.

Definición

Datos de juego (play data) proceden de un estilo de recogida de datos en el que un operador humano teleopera un robot, o en algunos trabajos actúa con sus propias manos, e interactúa con un entorno como quiera en lugar de realizar una tarea predefinida. En una sesión de juego el operador podría abrir un cajón, empujar un bloque, accionar un interruptor y coger un juguete, en cualquier orden. Corey Lynch y colaboradores introdujeron la idea en el aprendizaje de robots en 2019 con su trabajo sobre el aprendizaje de planes latentes a partir del juego.

El juego tiene varias ventajas prácticas frente a las demostraciones de tareas. Es barato de recoger, ya que no hace falta reiniciar la escena ni definir el éxito de cada episodio; cubre un amplio abanico de comportamientos y las transiciones entre ellos; y de forma natural incluye recuperaciones e intentos parciales. Como los datos no tienen etiquetas de tarea, suelen combinarse con el reetiquetado retrospectivo (hindsight relabeling): cualquier ventana de la grabación puede tratarse como una demostración de cómo alcanzar el estado de su final, lo que convierte el juego sin etiquetar en datos de entrenamiento para políticas condicionadas por objetivo. Después pueden añadirse descripciones en lenguaje natural a un subconjunto de ventanas para entrenar políticas condicionadas por lenguaje.

Los datos de juego también tienen puntos débiles. El comportamiento es multimodal, ya que el mismo inicio y el mismo objetivo pueden conectarse de formas distintas, lo que empuja a los métodos hacia políticas de variables latentes o basadas en difusión capaces de representar varios modos. La cobertura depende del operador, así que los estados poco visitados quedan mal aprendidos. Algunos métodos graban a personas jugando con sus propias manos, lo que es más rápido que la teleoperación, y usan esos datos para aprender planes de alto nivel que luego ejecuta una política específica del robot, entrenada con una cantidad menor de datos teleoperados.

Por qué importa

Recoger demostraciones específicas para cada habilidad no escala. Los datos de juego permiten que una sola sesión de interacción libre sirva para muchas tareas a la vez, y se han convertido en una base habitual del aprendizaje por imitación condicionado por objetivo, condicionado por lenguaje y de horizonte largo.

Aplicaciones clave

  • Entrenamiento de políticas de manipulación condicionadas por objetivo
  • Aprendizaje por imitación condicionado por lenguaje con anotación retrospectiva
  • Tareas de horizonte largo construidas encadenando subobjetivos
  • Preentrenamiento de representaciones de planes latentes o de habilidades
  • Benchmarks de manipulación multitarea sobre mesa

En la práctica

Un laboratorio monta una mesa de estilo cocina con un cajón, un armario, bloques y un interruptor de luz, y un operador teleopera un brazo robótico con un mando de VR durante sesiones largas sin instrucciones, interactuando con lo que elija. Las grabaciones de imágenes de cámara, propiocepción y acciones se cortan en ventanas cortas durante el entrenamiento, y cada una se etiqueta con su último fotograma como objetivo. Una política condicionada por objetivo aprende a alcanzar cualquier imagen objetivo, y más tarde un pequeño subconjunto de ventanas se anota con instrucciones como "abre el cajón" para habilitar órdenes en lenguaje. En la prueba, el robot encadena varios objetivos para completar una tarea más larga, como abrir el cajón, colocar un bloque dentro y cerrarlo.

Ideas erróneas comunes

  • Los datos de juego son exploración aleatoria — son comportamiento humano con propósito; simplemente no están ligados a una tarea predefinida
  • Los datos de juego necesitan etiquetas de tarea para ser útiles — el reetiquetado retrospectivo convierte cualquier segmento en un ejemplo de alcance de objetivo sin etiquetas
  • Los datos de juego sustituyen por completo a las demostraciones de tareas — la cobertura depende del operador, así que los comportamientos raros o precisos pueden seguir necesitando demostraciones específicas

Quién debería saberlo

  • Investigadores en aprendizaje por imitación
  • Equipos de recogida de datos y teleoperación de robots
  • Ingenieros que entrenan políticas de manipulación condicionadas por lenguaje
  • Investigadores que trabajan en manipulación de horizonte largo

Tecnologías relacionadas

  • Reetiquetado retrospectivo (Hindsight Relabeling)
  • Learning from Play (Play-LMP)
  • Teleoperación con VR (VR Teleoperation)
  • Benchmark CALVIN (CALVIN Benchmark)
  • Autocodificadores variacionales condicionales (Conditional Variational Autoencoders)

Términos relacionados

  • Goal-Conditioned Policy
  • Imitation Learning
  • Teleoperation
  • Behavior Cloning
  • Visuomotor Policy

Proyectos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
  • XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
  • DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.