<解析>speaker verification模型中的GE2E损失函数

GE2E loss 是什么

• GE2E loss 全称为Generalized end to end loss function。它聚焦于embedding的差异性，比TE2E(tuple-based endto-end loss function)损失函数更有效。

前提准备

• batch的形式 每个batch由NxM个embedding组成，形状为(N,M,e) ：N个speaker,每个speaker有M个embedding，每个embedding的长度为e。
• (e_{j,i}) 第j个speaker的第i个embedding
• (c_j) 第j个speaker的centroid（我把他翻译为中心向量），(c_{j}) = (frac{1}{M})(sum^{M}_{m=1})(e_{jm})
• (S_{ji,k}) eji和ck的相似度。 我们定义S为相似矩阵。(S_{ji,k}) = w · cos((e_{j,i}), (c_k)) + b

计算公式

• 对于每个Batch，其loss为 (L_G)(X; W) = (L_G)(S) = (sum_{j,i})L((e_{j,i}))
• 其中 L((e_{j,i}))有两种计算方式：

  • Contrast
    L((e_{ji})) = 1 - sigmoid((S_{ji,j})) + (max_{1<=k<=N,k!=j})sigmoid((S_{ji,k}))

  • Softmax
    L((e_{ji})) = -(S_{ji,j}) + log(sum^{N}_{k=1})exp((S_{ji,k}))

  • 如何选择：Contrast公式在TD—SV类模型上表现更好，Softmax公式在TI-SV类模型上表现更好。

改进

• 在计算正相关对儿的相似度的时候，即计算(S_{jk,j})的时候将(e_{ji}从)(c_j)的计算公式中移除，会取得更佳的效果。
• TD-SV & TI-SV TD-SV即text-dependent speaker verification，TI-SV即text-independent speaker verification. In TD-SV, the transcript of both enrollment and verification utterances is phonetially constrained, while in TI-SV, there are no lexicon constraints on the transcript of the enrollment or verification utterances, exposing a larger variability of phonemes and utterance durations.

Reference

• GENERALIZED END-TO-END LOSS FOR SPEAKER VERIFICATION https://arxiv.org/pdf/1710.10467.pdf