Turn-Taking

Detto anche: turn management
Categoria: Control › Human in the loop
Tag: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots

Il coordinamento con cui i partecipanti a una conversazione decidono chi parla e quando, compreso il modo in cui un parlante cede la parola e quello in cui il parlante successivo sa quando iniziare.

Definizione

Il turn-taking (alternanza dei turni di parola) è il modo in cui le persone in una conversazione organizzano chi sta parlando e quando la parola passa a qualcun altro. La sua descrizione classica si deve a Sacks, Schegloff e Jefferson (1974), che mostrarono che i parlanti costruiscono i turni a partire da unità con punti di possibile completamento riconoscibili, e che il parlante successivo di solito inizia in uno di questi punti o vicino a esso. In tutte le lingue gli intervalli tra un turno e l'altro sono tipicamente molto brevi, nell'ordine di un paio di centinaia di millisecondi, cioè meno del tempo necessario per pianificare un enunciato. Gli ascoltatori devono quindi prevedere quando finirà il turno in corso anziché aspettare il silenzio.

Le persone usano molti indizi per prevedere le fini e i cambi di turno: se l'enunciato è completo dal punto di vista sintattico e pragmatico, la prosodia, come l'intonazione discendente e l'allungamento delle sillabe finali, lo sguardo, il respiro e i gesti. I parlanti possono anche mantenere la parola durante una pausa con pause piene come "um" o con un'intonazione sospensiva. Sovrapposizioni e interruzioni si verificano e vengono gestite con proprie pratiche di riparazione, e nelle conversazioni a più parti lo sguardo e gli appellativi aiutano a selezionare chi parla dopo.

Molti sistemi di dialogo parlato e robot si basano ancora su una soglia di silenzio fissa: quando l'utente è rimasto in silenzio per un tempo prefissato, il sistema assume che il turno sia finito. Questo produce sia risposte lente sia interruzioni quando gli utenti fanno una pausa a metà frase. I modelli predittivi di turn-taking mirano a fare meglio. Alcuni usano le parole riconosciute fino a quel momento per stimare se un turno è completo, come i modelli basati su testo del tipo di TurnGPT, mentre altri, come i modelli di Voice Activity Projection, prevedono direttamente dall'audio l'attività vocale imminente di entrambi i partecipanti. Sui robot questi modelli devono funzionare in tempo reale, gestire il rumore, la voce del robot stesso e più persone, e possono essere combinati con indizi visivi come lo sguardo.

Perché è importante

Un cattivo turn-taking è uno dei problemi più evidenti nell'interazione parlata con i robot: lunghi ritardi fanno sembrare il robot lento o poco reattivo, e interrompere le persone lo fa sembrare maleducato. Da quando i robot usano modelli linguistici di grandi dimensioni per conversare, il momento in cui parlare è diventato importante per l'esperienza quanto ciò che viene detto.

Applicazioni principali

Robot sociali e di servizio conversazionali
Sistemi di dialogo parlato e assistenti vocali
Interazione a più parti con robot negli spazi pubblici
Collaborazione uomo-robot tramite istruzioni vocali
Robot di telepresenza e avatar

In pratica

Un gruppo che costruisce un robot receptionist sostituisce una soglia di silenzio fissa con un modello di Voice Activity Projection che lavora sul flusso del microfono. Ogni poche decine di millisecondi il modello restituisce la probabilità che l'utente stia per continuare a parlare o che il robot debba prendere il turno. Il gestore del dialogo inizia a preparare una risposta non appena la probabilità di un cambio sale, e comincia a parlare solo quando supera una soglia. Il robot guarda anche l'utente mentre ascolta e distoglie brevemente lo sguardo quando inizia a parlare. Nei test il gruppo registra i ritardi di risposta e il numero di volte in cui il robot parla sopra un utente, e regola la soglia per bilanciare velocità e interruzioni.

Idee sbagliate comuni

Un turno finisce quando il parlante tace — le persone fanno pause all'interno dei turni e spesso iniziano il turno successivo prima della fine del precedente o proprio alla sua fine, quindi il silenzio da solo è un segnale scadente
Il turn-taking si risolve con un riconoscitore vocale veloce — la velocità di riconoscimento aiuta, ma decidere quando parlare richiede di prevedere le fini di turno dal contenuto, dalla prosodia e da altri indizi
Le sovrapposizioni sono sempre errori — brevi sovrapposizioni e backchannel sono normali nella conversazione umana e non significano necessariamente che qualcuno abbia preso il turno

Chi dovrebbe saperlo

Ingegneri di robot conversazionali e sistemi di dialogo
Ricercatori di HRI che studiano l'interazione parlata
Ingegneri del parlato e dell'audio che integrano ASR e TTS sui robot

Tecnologie correlate

Rilevamento dell'attività vocale (Voice Activity Detection)
Voice Activity Projection
Riconoscimento automatico del parlato (Automatic Speech Recognition)
Sistemi di dialogo parlato (Spoken Dialogue Systems)
Modelli linguistici di grandi dimensioni (Large Language Models)

Termini correlati

Progetti correlati

Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

Video

Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM