AA+DR+NS: "Adapting Speaker Embeddings for Speaker Diarisation", in Proc. Interspeech, 2021. (Naver) [Paper]

Introduction

Background

speaker embedding의 quaility가 speaker diarization 성능에 크게 좌지우지됨

Problem

대부분의 연구(Prior works)에서의 embedding
- Speaker verification task를 위해서 효과적으로 훈련된 Pre-trained model로부터 extraction
SV, SD embedding 차이점 (1): Latent space for discrimniation
- SV는 한번에 수천명의 speaker embedding을 discrimination의 필요
- 하지만, SD는 2-3명, 많게는 10명의 speaker embedding만 discrimination
SV, SD embedding 차이점 (2): Segment size
- Diarization의 경우 Speaker embedding을 extraction 하기 위해서 더 짧은 segmention size (duration) 사용
  - 예. Verification에서는 2-4초 (길게는 10초?), Diarization 1-2초
- ❓이유
  - Temporal resolution을 위해서는 짧은 segment size, Representation의 quality를 위해서는 긴 segment size를 필요로 하는 Trade-off 존재
    - Temporal resolution 이 안좋으면 (=Long segment size)
      - 하나의 embedding에 다수의 화자가 포함될 수 있음
      - ⇒ speaker change point를 찾기 어려움

Goal (Objective)

Speaker diarization에 적합한 sepaker embedding을 위해 SV embedding으로 부터 adaptation 하는 것

Method

Diarization을 목적으로 한 speaker embedding으로 adaptation을 하기 위해서 3가지 기법을 제안
1. Dimensionalyity Reduction (DR)
2. Attention-based embedding Aggregation (AA)
3. Non-speech Clustering (NS)

2. Baseline System

Untitled

2.2 Speaker embedding extraction

VoxCeleb1,2로 훈련된 ResNet34 기반 Pre-trained model 사용
Extraction for diarizaation
- Semgent window size: 1.5s
- Segment hop size: 0.5s
- Embedding dim: 256-D

2.3 Clustering

1. AHC (agglomerative hierarchical clustering)

Bottom-up clustering

Untitled