Turn-Taking

• También llamado: turn management
• Categoría: Control › Human in the loop
• Etiquetas: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots

La coordinación mediante la cual los participantes en una conversación deciden quién habla y cuándo, incluido cómo un hablante cede la palabra y cómo sabe el siguiente hablante cuándo empezar.

Definición

La toma de turnos (turn-taking) es la forma en que las personas en una conversación organizan quién habla y cuándo pasa la palabra a otra persona. Su descripción clásica procede de Sacks, Schegloff y Jefferson (1974), que mostraron que los hablantes construyen los turnos a partir de unidades con puntos de posible finalización reconocibles, y que el siguiente hablante suele empezar en uno de esos puntos o cerca de él. En todas las lenguas, los huecos entre turnos suelen ser muy cortos, del orden de un par de cientos de milisegundos, que es menos tiempo del que se tarda en planificar un enunciado. Por eso, los oyentes deben predecir cuándo terminará el turno actual en lugar de esperar al silencio.

Las personas usan muchas señales para predecir los finales de turno y los cambios de turno: si el enunciado está completo sintáctica y pragmáticamente, la prosodia, como el tono descendente y las sílabas finales alargadas, la mirada, la respiración y los gestos. Los hablantes también pueden conservar la palabra durante una pausa mediante pausas llenas como "um" o una entonación continuativa. Los solapamientos y las interrupciones ocurren y se gestionan con sus propias prácticas de reparación, y en las conversaciones entre varias personas la mirada y las formas de tratamiento ayudan a seleccionar quién habla a continuación.

Muchos sistemas de diálogo hablado y robots siguen basándose en un umbral de silencio fijo: cuando el usuario lleva un tiempo determinado en silencio, el sistema supone que el turno ha terminado. Esto produce tanto respuestas lentas como interrupciones cuando los usuarios hacen una pausa a mitad de frase. Los modelos predictivos de toma de turnos aspiran a hacerlo mejor. Algunos usan las palabras reconocidas hasta el momento para estimar si un turno está completo, como los modelos basados en texto del tipo de TurnGPT, mientras que otros, como los modelos de Voice Activity Projection, predicen directamente a partir del audio la actividad de habla inminente de ambos participantes. En los robots, estos modelos deben funcionar en tiempo real, lidiar con el ruido, la propia voz del robot y varias personas, y pueden combinarse con señales visuales como la mirada.

Por qué importa

Una mala toma de turnos es uno de los problemas más evidentes en la interacción hablada con robots: los retrasos largos hacen que el robot parezca lento o poco reactivo, e interrumpir a las personas lo hace parecer maleducado. A medida que los robots usan grandes modelos de lenguaje para conversar, el momento de hablar se ha vuelto tan importante para la experiencia como lo que se dice.

Aplicaciones clave

• Robots sociales y de servicio conversacionales
• Sistemas de diálogo hablado y asistentes de voz
• Interacción entre varias personas y robots en espacios públicos
• Colaboración humano-robot mediante instrucciones habladas
• Robots de telepresencia y avatares

En la práctica

Un equipo que construye un robot recepcionista sustituye un umbral de silencio fijo por un modelo de Voice Activity Projection que funciona sobre el flujo del micrófono. Cada pocas decenas de milisegundos, el modelo da la probabilidad de que el usuario esté a punto de seguir hablando o de que el robot deba tomar el turno. El gestor de diálogo empieza a preparar una respuesta en cuanto sube la probabilidad de un cambio, y solo empieza a hablar cuando esta supera un umbral. El robot también mira al usuario mientras escucha y aparta brevemente la mirada cuando empieza a hablar. En las pruebas, el equipo registra los retrasos de respuesta y el número de veces que el robot habla por encima de un usuario, y ajusta el umbral para equilibrar velocidad e interrupciones.

Ideas erróneas comunes

• Un turno termina cuando el hablante se queda en silencio — las personas hacen pausas dentro de los turnos y a menudo empiezan el turno siguiente antes del final del anterior o justo en él, por lo que el silencio por sí solo es una mala señal
• La toma de turnos se resuelve con un reconocedor de voz rápido — la velocidad de reconocimiento ayuda, pero decidir cuándo hablar requiere predecir los finales de turno a partir del contenido, la prosodia y otras señales
• Los solapamientos son siempre errores — los solapamientos breves y las señales de retroalimentación (backchannels) son normales en la conversación humana y no significan necesariamente que alguien haya tomado el turno

Quién debería saberlo

• Ingenieros de robots conversacionales y sistemas de diálogo
• Investigadores en HRI que estudian la interacción hablada
• Ingenieros de voz y audio que integran ASR y TTS en robots

Tecnologías relacionadas

• Detección de actividad de voz (Voice Activity Detection)
• Voice Activity Projection
• Reconocimiento automático del habla (Automatic Speech Recognition)
• Sistemas de diálogo hablado (Spoken Dialogue Systems)
• Grandes modelos de lenguaje (Large Language Models)

Términos relacionados

• Backchannel
• Transformer
• Foundation Model
• Humanoid Robot

Proyectos relacionados

• Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
• RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
• Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

Vídeos

• Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM