Turn-Taking

Auch genannt: turn management
Kategorie: Control › Human in the loop
Schlagwörter: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots

Die Koordination, durch die Gesprächsbeteiligte festlegen, wer wann spricht, einschließlich der Art, wie ein Sprecher das Rederecht abgibt und wie der nächste Sprecher weiß, wann er beginnen soll.

Definition

Sprecherwechsel (Turn-Taking) ist die Art und Weise, wie Menschen in einem Gespräch organisieren, wer spricht und wann das Rederecht an jemand anderen übergeht. Die klassische Beschreibung stammt von Sacks, Schegloff und Jefferson (1974), die zeigten, dass Sprecher ihre Redebeiträge aus Einheiten mit erkennbaren möglichen Abschlusspunkten aufbauen und dass der nächste Sprecher meist an oder nahe einem dieser Punkte einsetzt. Über Sprachen hinweg sind die Lücken zwischen Redebeiträgen typischerweise sehr kurz, in der Größenordnung von ein paar hundert Millisekunden, was weniger Zeit ist, als die Planung einer Äußerung braucht. Zuhörer müssen daher vorhersagen, wann der aktuelle Redebeitrag endet, statt auf Stille zu warten.

Menschen nutzen viele Hinweise, um das Ende von Redebeiträgen und Sprecherwechsel vorherzusagen: ob die Äußerung syntaktisch und pragmatisch vollständig ist, Prosodie wie fallende Tonhöhe und gedehnte letzte Silben, Blick, Atmung und Gesten. Sprecher können das Rederecht auch über eine Pause hinweg behalten, mit gefüllten Pausen wie „ähm“ oder mit weiterführender Intonation. Überlappungen und Unterbrechungen kommen vor und werden mit eigenen Reparaturpraktiken behandelt, und in Gesprächen mit mehreren Beteiligten helfen Blick und Anredeformen dabei, auszuwählen, wer als Nächstes spricht.

Viele Sprachdialogsysteme und Roboter verlassen sich noch auf eine feste Stilleschwelle: Wenn der Nutzer eine festgelegte Zeit still war, nimmt das System an, dass der Redebeitrag beendet ist. Das führt sowohl zu langsamen Antworten als auch zu Unterbrechungen, wenn Nutzer mitten im Satz innehalten. Prädiktive Turn-Taking-Modelle sollen das besser machen. Manche nutzen die bisher erkannten Wörter, um zu schätzen, ob ein Redebeitrag vollständig ist, wie textbasierte Modelle wie TurnGPT, während andere, etwa Voice-Activity-Projection-Modelle, die bevorstehende Sprechaktivität beider Beteiligten direkt aus dem Audio vorhersagen. Auf Robotern müssen diese Modelle in Echtzeit laufen, mit Rauschen, der eigenen Stimme des Roboters und mehreren Personen zurechtkommen, und sie können mit visuellen Hinweisen wie dem Blick kombiniert werden.

Warum es wichtig ist

Schlechter Sprecherwechsel ist eines der auffälligsten Probleme in der sprachlichen Interaktion mit Robotern: Lange Verzögerungen lassen den Roboter langsam oder teilnahmslos wirken, und Menschen das Wort abzuschneiden lässt ihn unhöflich wirken. Da Roboter große Sprachmodelle für Gespräche nutzen, ist das Timing, wann gesprochen wird, für das Erlebnis ebenso wichtig geworden wie das, was gesagt wird.

Wichtige Anwendungen

Gesprächsfähige soziale Roboter und Serviceroboter
Sprachdialogsysteme und Sprachassistenten
Interaktion mehrerer Personen mit Robotern im öffentlichen Raum
Mensch-Roboter-Kollaboration mit gesprochenen Anweisungen
Telepräsenz- und Avatar-Roboter

In der Praxis

Ein Team, das einen Empfangsroboter baut, ersetzt eine feste Stilleschwelle durch ein Voice-Activity-Projection-Modell, das auf dem Mikrofonstrom läuft. Das Modell gibt alle paar zehn Millisekunden die Wahrscheinlichkeit aus, dass der Nutzer gleich weiterspricht oder dass der Roboter das Rederecht übernehmen sollte. Der Dialogmanager beginnt mit der Vorbereitung einer Antwort, sobald die Wahrscheinlichkeit eines Wechsels steigt, und fängt erst an zu sprechen, wenn sie eine Schwelle überschreitet. Der Roboter schaut den Nutzer außerdem beim Zuhören an und blickt kurz weg, wenn er zu sprechen beginnt. In Tests protokolliert das Team die Antwortverzögerungen und wie oft der Roboter einem Nutzer ins Wort fällt, und stimmt die Schwelle ab, um Geschwindigkeit gegen Unterbrechungen abzuwägen.

Häufige Missverständnisse

Ein Redebeitrag endet, wenn der Sprecher verstummt — Menschen pausieren innerhalb von Redebeiträgen und beginnen den nächsten oft schon vor oder genau am Ende des vorherigen, daher ist Stille allein ein schlechtes Signal
Sprecherwechsel ist mit einer schnellen Spracherkennung gelöst — Erkennungsgeschwindigkeit hilft, aber die Entscheidung, wann gesprochen wird, erfordert die Vorhersage des Beitragsendes aus Inhalt, Prosodie und anderen Hinweisen
Überlappungen sind immer Fehler — kurze Überlappungen und Hörersignale (Backchannels) sind in menschlichen Gesprächen normal und bedeuten nicht unbedingt, dass jemand das Rederecht übernommen hat

Wer das wissen sollte

Ingenieure für Gesprächsroboter und Dialogsysteme
HRI-Forschende, die sprachliche Interaktion untersuchen
Sprach- und Audioingenieure, die ASR und TTS auf Robotern integrieren

Videos

Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM

Open Source Robotics