Turn-Taking

• 別名: turn management
• カテゴリ: Control › Human in the loop
• タグ: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots

会話の参加者が誰がいつ話すかを決める調整の仕組み。話し手が発言権をどう譲るか、次の話し手がいつ話し始めればよいかをどう知るかを含む。

定義

ターンテイキング（turn-taking）とは、会話の参加者が、誰が話しているか、そして発言権がいつ他の人へ移るかを組織するやり方である。その古典的な記述は Sacks、Schegloff、Jefferson（1974）によるもので、彼らは、話し手が認識可能な完了可能点をもつ単位でターンを組み立てること、そして次の話し手は通常そうした点のどれか、またはその近くで話し始めることを示した。言語を問わず、ターン間の間隔は通常、数百ミリ秒程度と非常に短く、これは発話を計画するのにかかる時間よりも短い。したがって聞き手は、沈黙を待つのではなく、現在のターンがいつ終わるかを予測しなければならない。

人はターンの終わりとターンの交替を予測するために多くの手がかりを使う。発話が統語的・語用論的に完結しているか、下降調や語末音節の引き延ばしなどの韻律、視線、呼吸、身振りである。話し手は「えーと」のようなフィラーや、続きを示すイントネーションによって、間の間も発言権を保つことができる。重なりや割り込みは起こるものであり、それぞれ独自の修復の慣行で処理される。多人数の会話では、視線と呼びかけの語が次に誰が話すかを選ぶのに役立つ。

多くの音声対話システムやロボットは、いまだに固定の沈黙しきい値に頼っている。ユーザーが一定時間黙っていれば、システムはターンが終わったとみなす。これは応答の遅さと、ユーザーが文の途中で間を置いたときの割り込みの両方を生む。予測的なターンテイキングモデルは、これを改善することを目指している。TurnGPT のようなテキストベースのモデルのように、それまでに認識された単語を使ってターンが完結しているかを推定するものもあれば、voice activity projection モデルのように、両方の参加者のこれからの音声活動を音声から直接予測するものもある。ロボットでは、これらのモデルはリアルタイムで動作し、ノイズ、ロボット自身の声、複数の人に対処しなければならず、視線などの視覚的手がかりと組み合わせることもできる。

重要な理由

ターンテイキングのまずさは、ロボットとの音声インタラクションで最も目につく問題の 1 つである。長い遅れはロボットを鈍い、あるいは反応がないように見せ、人の話を遮ると失礼に見える。ロボットが会話に大規模言語モデルを使うようになるにつれ、いつ話すかというタイミングは、何を話すかと同じくらい体験にとって重要になっている。

主な用途

• 会話型のソーシャルロボットとサービスロボット
• 音声対話システムと音声アシスタント
• 公共空間でのロボットとの多人数インタラクション
• 音声による指示を用いた人とロボットの協働
• テレプレゼンスロボットとアバターロボット

実際の使われ方

受付ロボットを開発するチームが、固定の沈黙しきい値を、マイクの音声ストリーム上で動く voice activity projection モデルに置き換える。このモデルは数十ミリ秒ごとに、ユーザーがこのまま話し続けそうな確率、またはロボットがターンを取るべき確率を出力する。対話マネージャーは交替の確率が上がるとすぐに応答の準備を始め、それがしきい値を超えてから初めて話し始める。ロボットは聞いている間はユーザーを見て、話し始めるときには一瞬視線をそらす。テストでは、チームは応答遅延とロボットがユーザーの発話にかぶせて話した回数を記録し、速さと割り込みのトレードオフをとるようにしきい値を調整する。

よくある誤解

• 話し手が黙ればターンは終わる — 人はターンの途中でも間を置き、前のターンが終わる前やちょうど終わったところで次のターンを始めることが多いので、沈黙だけでは信号として不十分である
• ターンテイキングは高速な音声認識器で解決する — 認識速度は役立つが、いつ話すかを決めるには、内容、韻律、その他の手がかりからターンの終わりを予測する必要がある
• 重なりは常に誤りである — 短い重なりや相槌は人間の会話ではふつうのことであり、必ずしも誰かがターンを取ったことを意味しない

知っておくべき人

• 会話ロボットと対話システムのエンジニア
• 音声インタラクションを研究する HRI の研究者
• ロボットに ASR と TTS を統合する音声・オーディオのエンジニア

関連技術

• 音声区間検出（Voice Activity Detection）
• Voice Activity Projection
• 自動音声認識（Automatic Speech Recognition）
• 音声対話システム（Spoken Dialogue Systems）
• 大規模言語モデル（Large Language Models）

関連用語

• Backchannel
• Transformer
• Foundation Model
• Humanoid Robot

関連プロジェクト

• Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
• RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
• Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

動画

• Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM