Turn-Taking

Também chamado: turn management
Categoria: Control › Human in the loop
Tags: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots

A coordenação pela qual os participantes de uma conversa decidem quem fala e quando, incluindo como um falante cede a palavra e como o próximo falante sabe quando começar.

Definição

A tomada de turno (turn-taking) é o modo como as pessoas em uma conversa organizam quem está falando e quando a palavra passa para outra pessoa. Sua descrição clássica vem de Sacks, Schegloff e Jefferson (1974), que mostraram que os falantes constroem os turnos a partir de unidades com pontos de possível conclusão reconhecíveis, e que o próximo falante geralmente começa em um desses pontos ou perto dele. Em todas as línguas, os intervalos entre turnos costumam ser muito curtos, da ordem de algumas centenas de milissegundos, o que é menos tempo do que o necessário para planejar um enunciado. Por isso, os ouvintes precisam prever quando o turno atual vai terminar, em vez de esperar pelo silêncio.

As pessoas usam muitas pistas para prever fins e trocas de turno: se o enunciado está sintática e pragmaticamente completo, a prosódia, como o tom descendente e as sílabas finais alongadas, o olhar, a respiração e os gestos. Os falantes também podem manter a palavra durante uma pausa com pausas preenchidas, como "um", ou com entonação contínua. Sobreposições e interrupções acontecem e são tratadas com suas próprias práticas de reparo, e em conversas com várias pessoas o olhar e as formas de tratamento ajudam a selecionar quem fala em seguida.

Muitos sistemas de diálogo falado e robôs ainda dependem de um limiar de silêncio fixo: quando o usuário fica em silêncio por um tempo definido, o sistema supõe que o turno terminou. Isso produz tanto respostas lentas quanto interrupções quando os usuários fazem uma pausa no meio da frase. Modelos preditivos de tomada de turno buscam fazer melhor. Alguns usam as palavras reconhecidas até o momento para estimar se um turno está completo, como modelos baseados em texto do tipo do TurnGPT, enquanto outros, como os modelos de Voice Activity Projection, preveem a atividade de fala iminente dos dois participantes diretamente a partir do áudio. Em robôs, esses modelos precisam rodar em tempo real, LiDAR com ruído, com a própria voz do robô e com várias pessoas, e podem ser combinados com pistas visuais como o olhar.

Por que importa

Uma tomada de turno ruim é um dos problemas mais perceptíveis na interação falada com robôs: atrasos longos fazem o robô parecer lento ou pouco responsivo, e cortar as pessoas faz com que ele pareça mal-educado. À medida que os robôs usam grandes modelos de linguagem para conversar, o momento de falar se tornou tão importante para a experiência quanto o que é dito.

Principais aplicações

Robôs sociais e de serviço conversacionais
Sistemas de diálogo falado e assistentes de voz
Interação de várias pessoas com robôs em espaços públicos
Colaboração humano-robô usando instruções faladas
Robôs de telepresença e avatares

Na prática

Uma equipe que constrói um robô recepcionista substitui um limiar de silêncio fixo por um modelo de Voice Activity Projection que roda sobre o fluxo do microfone. A cada poucas dezenas de milissegundos, o modelo fornece a probabilidade de o usuário estar prestes a continuar falando ou de o robô dever assumir o turno. O gerenciador de diálogo começa a preparar uma resposta assim que a probabilidade de troca sobe, e só começa a falar quando ela ultrapassa um limiar. O robô também olha para o usuário enquanto escuta e desvia brevemente o olhar quando começa a falar. Nos testes, a equipe registra os atrasos de resposta e o número de vezes que o robô fala por cima de um usuário, e ajusta o limiar para equilibrar velocidade e interrupções.

Equívocos comuns

Um turno termina quando o falante fica em silêncio — as pessoas fazem pausas dentro dos turnos e muitas vezes começam o turno seguinte antes do fim do anterior ou exatamente nele, então o silêncio sozinho é um sinal ruim
A tomada de turno se resolve com um reconhecedor de fala rápido — a velocidade de reconhecimento ajuda, mas decidir quando falar exige prever os fins de turno a partir do conteúdo, da prosódia e de outras pistas
Sobreposições são sempre erros — sobreposições breves e backchannels são normais na conversa humana e não significam necessariamente que alguém tomou o turno

Quem deve saber

Engenheiros de robôs conversacionais e de sistemas de diálogo
Pesquisadores de HRI que estudam a interação falada
Engenheiros de fala e áudio que integram ASR e TTS em robôs

Tecnologias relacionadas

Detecção de atividade de voz (Voice Activity Detection)
Voice Activity Projection
Reconhecimento automático de fala (Automatic Speech Recognition)
Sistemas de diálogo falado (Spoken Dialogue Systems)
Grandes modelos de linguagem (Large Language Models)

Termos relacionados

Projetos relacionados

Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

Vídeos

Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM