Turn-Taking

Aussi appelé: turn management
Catégorie: Control › Human in the loop
Mots-clés: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots

La coordination par laquelle les participants à une conversation décident qui parle et quand, y compris la façon dont un locuteur cède la parole et dont le locuteur suivant sait quand commencer.

Définition

La prise de parole (Turn-taking) est la façon dont les personnes en conversation organisent qui parle et quand la parole passe à quelqu'un d'autre. Sa description classique vient de Sacks, Schegloff et Jefferson (1974), qui ont montré que les locuteurs construisent leurs tours de parole à partir d'unités qui ont des points d'achèvement possibles reconnaissables, et que le locuteur suivant commence généralement à l'un de ces points ou à proximité. D'une langue à l'autre, les blancs entre les tours sont généralement très courts, de l'ordre de quelques centaines de millisecondes, soit moins de temps qu'il n'en faut pour planifier un énoncé. Les auditeurs doivent donc prédire quand le tour en cours se terminera plutôt qu'attendre le silence.

Les personnes utilisent de nombreux indices pour prédire la fin des tours et les changements de locuteur : le fait que l'énoncé soit complet sur le plan syntaxique et pragmatique, la prosodie comme une hauteur descendante et l'allongement des syllabes finales, le regard, la respiration et les gestes. Les locuteurs peuvent aussi garder la parole pendant une pause grâce à des pauses remplies comme « euh » ou à une intonation suspensive. Les chevauchements et les interruptions se produisent et sont traités par leurs propres pratiques de réparation, et dans une conversation à plusieurs, le regard et les termes d'adresse aident à désigner qui parle ensuite.

De nombreux systèmes de dialogue oral et robots reposent encore sur un seuil de silence fixe : lorsque l'utilisateur est resté silencieux pendant une durée donnée, le système suppose que le tour est terminé. Cela produit à la fois des réponses lentes et des interruptions lorsque les utilisateurs marquent une pause au milieu d'une phrase. Les modèles prédictifs de prise de parole visent à faire mieux. Certains utilisent les mots reconnus jusque-là pour estimer si un tour est complet, comme les modèles textuels tels que TurnGPT, tandis que d'autres, comme les modèles de Voice Activity Projection, prédisent directement à partir de l'audio l'activité vocale à venir des deux participants. Sur les robots, ces modèles doivent fonctionner en temps réel, faire face au bruit, à la propre voix du robot et à plusieurs personnes, et peuvent être combinés à des indices visuels comme le regard.

Pourquoi c'est important

Une mauvaise gestion de la prise de parole est l'un des problèmes les plus visibles dans l'interaction orale avec les robots : de longs délais font paraître le robot lent ou peu réactif, et couper la parole aux gens le fait paraître impoli. Comme les robots utilisent de grands modèles de langage pour converser, le moment où parler est devenu aussi important pour l'expérience que ce qui est dit.

Applications principales

Robots sociaux et de service conversationnels
Systèmes de dialogue oral et assistants vocaux
Interaction à plusieurs avec des robots dans les espaces publics
Collaboration humain-robot par instructions vocales
Robots de téléprésence et avatars

En pratique

Une équipe qui construit un robot d'accueil remplace un seuil de silence fixe par un modèle de Voice Activity Projection qui fonctionne sur le flux du microphone. Toutes les quelques dizaines de millisecondes, le modèle produit la probabilité que l'utilisateur s'apprête à continuer de parler ou que le robot doive prendre la parole. Le gestionnaire de dialogue commence à préparer une réponse dès que la probabilité d'un changement augmente, et ne commence à parler qu'une fois qu'elle franchit un seuil. Le robot regarde aussi l'utilisateur pendant qu'il écoute et détourne brièvement le regard lorsqu'il commence à parler. Lors des tests, l'équipe enregistre les délais de réponse et le nombre de fois où le robot parle en même temps qu'un utilisateur, et règle le seuil pour arbitrer entre rapidité et interruptions.

Idées reçues

Un tour se termine quand le locuteur se tait — les gens font des pauses au sein de leurs tours et commencent souvent le tour suivant avant ou juste à la fin du précédent, donc le silence seul est un mauvais signal
La prise de parole est résolue par une reconnaissance vocale rapide — la vitesse de reconnaissance aide, mais décider quand parler exige de prédire la fin des tours à partir du contenu, de la prosodie et d'autres indices
Les chevauchements sont toujours des erreurs — de brefs chevauchements et des signaux d'écoute (backchannels) sont normaux dans la conversation humaine et ne signifient pas forcément que quelqu'un a pris la parole

Qui devrait le savoir

Ingénieurs en robots conversationnels et en systèmes de dialogue
Chercheurs en HRI étudiant l'interaction orale
Ingénieurs parole et audio intégrant l'ASR et le TTS sur des robots

Technologies associées

Détection d'activité vocale (Voice Activity Detection)
Voice Activity Projection
Reconnaissance automatique de la parole (Automatic Speech Recognition)
Systèmes de dialogue oral (Spoken Dialogue Systems)
Grands modèles de langage (Large Language Models)

Termes associés

Projets associés

Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

Vidéos

Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM