• DR-DESA: "Advancing the dimensionality reduction of speaker embeddings for speaker diarisation: disentangling noise and informing speech activity", in Proc. ICASSP, 2023. (Naver) [Paper]

Introduction

• Diarization에서 speaker embeddings은 적은 수의 #Speaker만 discrimnation이 필요

  • Verification은 수천개인 반면에,

• low-dimensional latent space 가 불필요한 background noise 를 줄여줌

  🤔 Diarization이랑 Verification이랑 비교하는 speaker 수가 다른 건 OK. 근데 그거랑 low-dimensional space, background noise랑 무슨 상관이 있어?

🔬 Empirically found

• DR의 효과가 session마다 다름을 확인

🧠 Assumption (Hypothesis)

• 각 session 별로 최적의 code dimensionality 다를 것
• Depending on two factor
  1. Session에서의 speaker 수
  2. Session의 Duration

💬 근거

• 만약 dimensionality가 매우 작다면 필요한 information이 매우 적어질것
• 만약 dimensionality가 매우 크다면 (background noise 와 같은) 불필요한 정보가 code안에 포함될 것 [Ref 12.: ‣]

⚠️ Problem

• 기존의 DR 훈련시 speech와 non-speech 구별없이 훈련 [13]

  • ⇒ Latent space speake identity 뿐만 아니라 background 까지 표현

  <aside> 💡 왜 여기에 WaveNet autoencoder 기반의 VC 가 reference로..? (https://ieeexplore.ieee.org/document/8682589) ⇒ VC 쪽 논문을 관심있게 봐볼 필요가 있다!

  </aside>

• hyper-parameter-dependent 문제

💡Method

• Latent vector상에 two code 로 분류
  • speaker identity을 표현하기위한 Speaker Code
  • 관계없는 정보를 표현하기 위한 Noise Code
• Speech activity vector (SAV)
  • speech 인지 non-speech 인식 나타내기 위함
  • Non-speech에 대해서 이상적으로 speaker code는 empty 상태로 유도하여서 background noise가 섞이는 것을 방지

2. SD Pipeline