Turn-Taking
- 又稱: turn management
- 類別: Control › Human in the loop
- 標籤: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots
對話參與者決定誰在何時說話的協調過程，包括說話者如何讓出發言權，以及下一位說話者如何知道何時開口。
定義
話輪轉換（turn-taking）是對話中的人們安排誰在說話、以及發言權何時交給別人的方式。它的經典描述來自 Sacks、Schegloff 與 Jefferson（1974），他們指出，說話者以具有可辨識之可能完結點的單位來建構話輪，而下一位說話者通常在這些點上或其附近開口。在各種語言中，話輪之間的間隔通常非常短，大約在幾百毫秒的量級，比規劃一句話所需的時間還短。因此，聽者必須預測目前的話輪何時結束，而不是等待沉默。
人們用許多線索來預測話輪的結束與轉換：話語在句法與語用上是否完整，降調與末音節拉長等韻律，以及目光、呼吸與手勢。說話者也可以用「嗯」這類有聲停頓或延續性語調，在停頓中保住發言權。重疊與打斷時有發生，並以各自的修補做法來處理；在多方對話中，目光與稱呼語有助於選出下一位說話者。
許多口語對話系統與機器人仍仰賴固定的沉默門檻：當使用者沉默達到設定時間，系統就認定話輪已經結束。這既會造成回應緩慢，也會在使用者句中停頓時打斷對方。預測式話輪轉換模型的目標是做得更好。有些模型利用目前已辨識出的字詞來估計話輪是否完整，例如 TurnGPT 這類以文字為基礎的模型；另一些模型，例如 voice activity projection 模型，則直接從音訊預測雙方即將出現的語音活動。在機器人上，這些模型必須即時執行，應付雜訊、機器人自己的聲音與多人情境，並可以與目光等視覺線索結合。
為何重要
不良的話輪轉換是與機器人進行口語互動時最明顯的問題之一：長時間的延遲讓機器人顯得遲緩或沒有反應，打斷別人則讓它顯得無禮。隨著機器人使用大型語言模型進行對話，何時說話的時機已經變得和說什麼一樣影響體驗。
主要應用
- 對話式社交機器人與服務機器人
- 口語對話系統與語音助理
- 公共場所中機器人參與的多方互動
- 使用語音指令的人機協作
- 遠端臨場與化身機器人
實際應用
一個開發接待機器人的團隊，以一個在麥克風音訊串流上執行的 voice activity projection 模型取代固定的沉默門檻。這個模型每隔幾十毫秒輸出一次機率：使用者即將繼續說話的機率，或機器人應該取得話輪的機率。一旦話輪轉換的機率上升，對話管理器就開始準備回應，並且只有在機率越過門檻後才開口。機器人在聆聽時也會看著使用者，開始說話時則短暫移開視線。測試時，團隊記錄回應延遲以及機器人蓋過使用者說話的次數，並調整門檻，在速度與打斷之間取捨。
常見誤解
- 說話者一沉默話輪就結束了 — 人們在話輪之內也會停頓，而且常在上一個話輪結束之前或剛好結束時就開始下一個話輪，因此單靠沉默是很差的訊號
- 快速的語音辨識器就能解決話輪轉換 — 辨識速度有幫助，但決定何時說話需要從內容、韻律與其他線索預測話輪的結束
- 重疊一定是錯誤 — 短暫的重疊與附和回應在人類對話中很正常，不一定代表有人取得了話輪
誰需要了解
- 對話機器人與對話系統工程師
- 研究口語互動的 HRI 研究人員
- 在機器人上整合 ASR 與 TTS 的語音與音訊工程師
相關技術
- 語音活動偵測（Voice Activity Detection）
- Voice Activity Projection
- 自動語音辨識（Automatic Speech Recognition）
- 口語對話系統（Spoken Dialogue Systems）
- 大型語言模型（Large Language Models）
相關術語
相關專案
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
- Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks
影片
- Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM