Turn-Taking
- 又称: turn management
- 类别: Control › Human in the loop
- 标签: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots
对话参与者决定谁在何时说话的协调过程，包括说话者如何让出发言权，以及下一位说话者如何知道何时开口。
定义
话轮转换（turn-taking）是对话中的人们组织谁在说话、以及发言权何时转给别人的方式。它的经典描述来自 Sacks、Schegloff 和 Jefferson（1974），他们指出，说话者用具有可识别的可能完结点的单位来构建话轮，而下一位说话者通常在这些点上或其附近开口。在各种语言中，话轮之间的间隔通常非常短，大约在几百毫秒的量级，这比计划一句话所需的时间还要短。因此，听者必须预测当前话轮何时结束，而不是等待沉默。
人们用许多线索来预测话轮的结束和话轮的转换：话语在句法和语用上是否完整，降调和末音节拉长等韵律，目光、呼吸和手势。说话者也可以用“嗯”这样的有声停顿或延续性语调，在停顿期间保住发言权。重叠和打断时有发生，并通过各自的修复做法来处理；在多方对话中，目光和称呼语有助于选定谁下一个说话。
许多口语对话系统和机器人仍然依赖固定的沉默阈值：当用户沉默达到设定时间时，系统就认为话轮已经结束。这既会造成回应缓慢，也会在用户句中停顿时打断用户。预测式话轮转换模型旨在做得更好。有些模型利用目前已识别出的词来估计话轮是否完整，例如 TurnGPT 这类基于文本的模型；另一些模型，例如 voice activity projection 模型，则直接从音频中预测双方即将出现的语音活动。在机器人上，这些模型必须实时运行，应对噪声、机器人自己的声音和多人场景，并且可以与目光等视觉线索结合。
为何重要
糟糕的话轮转换是与机器人进行口语交互时最明显的问题之一：长时间的延迟让机器人显得迟钝或没有反应，打断别人则让它显得粗鲁。随着机器人使用大语言模型进行对话，何时说话的时机已经变得与说什么一样影响体验。
主要应用
- 对话式社交机器人和服务机器人
- 口语对话系统和语音助手
- 公共场所中机器人参与的多方交互
- 使用语音指令的人机协作
- 远程临场和化身机器人
实际应用
一个开发接待机器人的团队，用一个在麦克风音频流上运行的 voice activity projection 模型取代了固定的沉默阈值。该模型每隔几十毫秒输出一次概率：用户即将继续说话的概率，或机器人应当接过话轮的概率。一旦话轮转换的概率上升，对话管理器就开始准备回应，并且只有在概率越过阈值后才开始说话。机器人在聆听时还会看着用户，开始说话时则短暂移开视线。测试中，团队记录回应延迟以及机器人压过用户说话的次数，并调整阈值，在速度与打断之间进行权衡。
常见误解
- 说话者沉默时话轮就结束了 — 人们在话轮之内也会停顿，而且常在上一个话轮结束之前或恰在结束时就开始下一个话轮，因此仅凭沉默是一个很差的信号
- 快速的语音识别器就能解决话轮转换 — 识别速度有帮助，但决定何时说话需要根据内容、韵律和其他线索预测话轮的结束
- 重叠总是错误 — 短暂的重叠和附和回应在人类对话中很正常，并不一定意味着有人接过了话轮
谁需要了解
- 对话机器人和对话系统工程师
- 研究口语交互的 HRI 研究人员
- 在机器人上集成 ASR 和 TTS 的语音与音频工程师
相关技术
- 语音活动检测（Voice Activity Detection）
- Voice Activity Projection
- 自动语音识别（Automatic Speech Recognition）
- 口语对话系统（Spoken Dialogue Systems）
- 大语言模型（Large Language Models）
相关术语
相关项目
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
- Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks
视频
- Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM