Turn-Taking

• 다른 이름: turn management
• 카테고리: Control › Human in the loop
• 태그: human-robot-interaction, spoken-dialogue, speech, conversation, social-robots

대화 참여자들이 누가 언제 말할지 정하는 조율로, 화자가 발언권을 넘기는 방식과 다음 화자가 언제 시작할지 아는 방식을 포함한다.

정의

턴테이킹(Turn-taking)은 대화하는 사람들이 누가 말하고 있는지, 그리고 발언권이 언제 다른 사람에게 넘어가는지를 조직하는 방식이다. 고전적인 기술은 Sacks, Schegloff, Jefferson(1974)에게서 나왔는데, 이들은 화자가 알아볼 수 있는 완결 가능 지점을 가진 단위들로 턴을 구성하며, 다음 화자는 보통 이러한 지점 중 하나에서 또는 그 근처에서 말을 시작한다는 것을 보였다. 언어를 막론하고 턴 사이의 간격은 보통 수백 밀리초 정도로 매우 짧으며, 이는 발화를 계획하는 데 걸리는 시간보다 짧다. 따라서 듣는 사람은 침묵을 기다리는 대신 현재 턴이 언제 끝날지 예측해야 한다.

사람들은 턴의 끝과 턴 전환을 예측하기 위해 많은 단서를 사용한다. 발화가 통사적, 화용적으로 완결되었는지, 떨어지는 음높이와 늘어지는 마지막 음절 같은 운율, 시선, 호흡, 몸짓이 그것이다. 화자는 “음” 같은 채워진 휴지나 이어지는 억양으로 휴지 동안에도 발언권을 유지할 수 있다. 겹침과 끼어들기가 일어나며 이는 고유한 복구 관행으로 처리되고, 다자 대화에서는 시선과 호칭이 다음에 누가 말할지 정하는 데 도움을 준다.

많은 음성 대화 시스템과 로봇은 여전히 고정된 침묵 임계값에 의존한다. 사용자가 정해진 시간 동안 침묵하면 시스템은 턴이 끝났다고 가정한다. 이는 느린 응답과, 사용자가 문장 중간에 잠시 멈출 때의 끼어들기를 모두 낳는다. 예측형 턴테이킹 모델은 이보다 나은 것을 목표로 한다. 일부는 TurnGPT 같은 텍스트 기반 모델처럼 지금까지 인식된 단어를 사용해 턴이 완결되었는지 추정하고, Voice Activity Projection 모델 같은 다른 모델은 오디오에서 직접 두 참여자의 다가올 발화 활동을 예측한다. 로봇에서 이러한 모델은 실시간으로 실행되어야 하고, 잡음, 로봇 자신의 목소리, 여러 사람을 감당해야 하며, 시선 같은 시각 단서와 결합될 수 있다.

중요한 이유

서투른 턴테이킹은 로봇과의 음성 상호작용에서 가장 눈에 띄는 문제 중 하나다. 긴 지연은 로봇을 느리거나 반응이 없는 것처럼 보이게 하고, 사람의 말을 끊으면 무례해 보인다. 로봇이 대화에 대규모 언어 모델을 사용하게 되면서, 언제 말할지의 타이밍이 무엇을 말하는지만큼 경험에 중요해졌다.

주요 응용

• 대화형 소셜 로봇과 서비스 로봇
• 음성 대화 시스템과 음성 비서
• 공공장소에서 로봇과의 다자 상호작용
• 음성 지시를 사용하는 인간-로봇 협업
• 텔레프레즌스 로봇과 아바타 로봇

실제 사례

접수원 로봇을 만드는 한 팀이 고정된 침묵 임계값을 마이크 스트림에서 실행되는 Voice Activity Projection 모델로 교체한다. 모델은 수십 밀리초마다 사용자가 계속 말하려 하는지, 아니면 로봇이 턴을 가져가야 하는지의 확률을 출력한다. 대화 관리자는 전환 확률이 오르기 시작하면 곧바로 응답 준비를 시작하고, 그 확률이 임계값을 넘었을 때에만 말하기 시작한다. 로봇은 듣는 동안 사용자를 바라보고, 말하기 시작할 때 잠깐 시선을 돌리기도 한다. 시험에서 팀은 응답 지연과 로봇이 사용자의 말에 겹쳐 말한 횟수를 기록하고, 속도와 끼어들기 사이의 균형을 맞추도록 임계값을 조정한다.

흔한 오해

• 화자가 조용해지면 턴이 끝난다 — 사람들은 턴 안에서도 잠시 멈추고, 흔히 이전 턴이 끝나기 전이나 끝나는 바로 그 순간에 다음 턴을 시작하므로, 침묵만으로는 좋지 않은 신호다
• 빠른 음성 인식기로 턴테이킹이 해결된다 — 인식 속도는 도움이 되지만, 언제 말할지 정하려면 내용, 운율, 기타 단서로부터 턴의 끝을 예측해야 한다
• 겹침은 항상 오류다 — 짧은 겹침과 맞장구는 사람의 대화에서 정상이며, 반드시 누군가 턴을 가져갔다는 뜻은 아니다

알아야 할 사람

• 대화형 로봇과 대화 시스템 엔지니어
• 음성 상호작용을 연구하는 HRI 연구자
• 로봇에 ASR과 TTS를 통합하는 음성 및 오디오 엔지니어

관련 기술

• 음성 활동 검출(Voice Activity Detection)
• Voice Activity Projection
• 자동 음성 인식(Automatic Speech Recognition)
• 음성 대화 시스템(Spoken Dialogue Systems)
• 대규모 언어 모델(Large Language Models)

관련 용어

• Backchannel
• Transformer
• Foundation Model
• Humanoid Robot

관련 프로젝트

• Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
• RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
• Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

동영상

• Lecture 2.3.3 - Turn Taking: NPTEL-NOC IITM