本文主要对该论文中的关键点进行总结和梳理，不完全翻译整篇文章。
摘要
DNN的主要优势就是不需要人工提取语音信号当中的特征。因此，我们在DNN的底部（输入部分）加上了一个pseudo-filterbank层，并且通过联合训练，对该层的参数和网络其他层的参数进行训练。在现有的其他基于DNN的网络当中，一般取预先定义的Mel尺度filterbanks作为声学特征作为网络的输入。
在本文的实验当中，我们使用Gaussian函数代替三角Mel尺度的filterbanks。这一技术使得filterbank层能够保持频域光滑性（This technique en- ables a filterbank layer to maintain the functionality of fre- quency domain smoothing.）
Experimental results show that the frame-level transformation of filterbank layer constrains flexibility and promotes learning efficiency in acoustic modeling.
- 在本文中，其filterbank不是预先从语音当中提取出来的，而是通过联合训练，得到一组滤波器组，然后对输入信号进行处理得到的。
介绍
DNNs已经应用到语音识别当中（DNN-HMM），并且表现出比传统GMM方法优异的结果。在参考文献【2，3】当中，研究了使用深度学习的方法来进行前端（front-end）学习，如语音增强和filterbank学习。这些工作都表现出了比手动提取特征的方法优异的效果。
在参考文献【4，5】当中，分析和评价了hand-crafted filterbanks和learned filterbanks之间的差异。这些分析表明，在Mel尺度的filterbanks和learned filterbanks之间的中心频率具有一定相似性。（ 这一结果表明，基于Mel尺度的learned filterbanks的中心频率初始化是有根据的和合理的，具体需要进行学习的只有filter的形状参数。 ）但是，在中心频率的学习问题上，两个文献具有不一致的观点。那些实验结果表明，filterbanks形状的学习取决于当前任务，尤其是背景噪声的存在与否（因为背景噪声如果存在的话，则需要对噪声所在的频率区域进行抑制，形成一个陷波器）
文献【6】当中，联合learned filterbanks和classifier（DNN）进行训练，其中，filterbank是由Gaussian函数进行参数化的模型。（ 高斯参数化模型与当前文章有什么不同，在本文当中也使用Gaussian函数进行filterbank的参数化）把filterbank和分类器进行联合训练，能够提升分类的准确性。
文献【7】也进行了联合训练，其中filterbank的限制条件是：通过引入权值的指数(exp(W))，使filterbank中的元素保持为正。这种弱限制（weak restriction）没有给出一个清晰的函数解释，为什么人们要手工设置三角形状的filterbank。也就是说，pseudo-filterbanks的参数对所给定的数据来说是过拟合的，pseudo-filterbanks的形状导致了multiple peaks。（ 我的理解是：因为指数函数不像三角或者Gaussian函数那样，中间高两边低，但是训练之后的参数却形成了这种类三角的形状，而不是和指数函数的单调形式类似，并且形成了多峰形状，从而可以推断出filterbank参数对于所给定的数据发生了过拟合，从而导致了这种情况的发生。 ）这样的pseudo-filterbanks没有频域中的平滑能力（多峰导致）。
文献【9】中为了进一步减少网络的参数，在CNN 中使用(Gabor)滤波器作为卷积层，其中网络的输入为归一化功率谱（Power-Normalized Spectrum）。（ (Gabor)函数具有什么属性，能够使得网络的参数继续降低。）
在本文中，我们参考文献【6】当中，使用Gaussian函数对网络中的filterbank进行参数化，Gaussian函数对其进行参数具有自由参数方面的优势，并且pseudo-filters能够快速自适应调节。（The Gaussian function has an advantage over a convolutional layer in the number of free parameters and in the fast adaptation of pseudo-filter.）实验当中，使用联合训练对网络进行训练。
Filterbank learning的相关工作
虽然DNN-HMM方法比GMM-HMM方法性能优异，但是当测试集和训练集存在不匹配时，前者的性能也会随之下降。学习filterbanks能够使用一些自适应方法来近似，虽然这些方法有不同的表示和约束。
自适应方法大致可以分为两类：特征空间自适应和模型自适应（在一般的分类当中，还有一个分数自适应）。文献【12】的在DNN的前面加上了一个线性变换层(input=Wx+b)，文献【11】在DNN前面加上了一个单独训练的能够跨帧连接的线性层，文献【13】在前面加上一个（块对角）block-diagonal矩阵，并且能够通过忽略与其他帧的连接，相同的方法也用在单独帧数据当中。能够看到，【11】中的方法是【12】中方法的一种特殊形式。
（这里介绍的是两种补偿方法的例子，且基本都是在神经网络的输入层进行改进。）
判别训练（Discriminative training）Gaussian Filterbanks
Gaussian filterbanks
一般的，我们可以使用HTK工具来进行Mel尺度filterbank特征提取（也可以使用Kaldi语音识别工具包，比HTK更全面，但是参考和学习文档没有HTK完整、系统）。然而，一个三角滤波器不是可微的（实际上，只是在一个点不可微，不明白此处作者这样分析是否有问题），不能融合到BP算法当中对其进行训练另外，因为每一次的前向传递，都需要沿着所有的频率带（frequency bins）进行计算累加，所以滤波器函数应该是计算有效的函数。也就是说，能够用来设计filter的函数应该是可微的和计算高效的（简单的）
在实验当中，pseudo-filterbanks由下式进行建模（参数化）：
其中，( heta_n(f))是第(n)个滤波器在频率(f)处的值，(varphi_n)是增益参数，(eta_n)是带宽参数，(gamma_n)是中心频率。线性频率(f)由函数(p(f))映射到Mel尺度中。
在上述filter的参数化模型中，可训练的参数有：(varphi_n)(gain)、(eta_n)(bandwith)、(gamma_n)(center frequency)。传统的三角滤波器和高斯滤波器都能够保持频域的光滑性（Both a traditional triangular filter and a Gaussian filter maintain the functionality of frequency domain smoothing） ** 滤波器之间主要的不同是包含频率带的范围（滤波器的带宽）**Gaussian滤波器作用于整个频率带范围，然而三角滤波器只作用于截止频率以内的频率带。
- 对于上图的理解：在DNN的最底层，是个神经元排列成的矩形，每一行与下层的不同时间帧的pseduo-filterbank相连接，从而构成前后多帧数据的联合处理。
- 理解上存在的问题：在filterbank当中，滤波器的长度为多少？是和第一层的DNN神经元数目相同还是类似于CNN那种卷积核的形式？
Training algorithm
功率谱(x(f))沿着时间帧维度拼接之后，直接输入到pseudo-filterbanks当中。这些特征然后乘以滤波器对应的增益，并且沿着频率带进行累加。然后使用对数压缩得到一个log-mel(pseudo-)filterbank特征：
(h_n)然后被输入到DNN当中。对于滤波器的参数训练也是使用BP算法，以(varphi_n)为例：
其中，(L)是目标函数，(eta)是学习率。(eta_n gamma_n)使用相同的方法进行更新。
本文所提出的方法，通过假设Gaussian核函数，对滤波器进行参数化，大大降低了需要训练的参数数目，此外，本方法相比于其他的数据驱动（data-driven）的特征提取方法，具有良好的模型适应性。
网络的训练过程可以分为来两个阶段：
- 对除了pseudo-filterbanks的DNN网络进行fine-tuned（fixed model）；
- 将二者结合起来，进行联合训练（trained model）。
实验
Baseline
本文的基线系统是一个全连接的DNN网络，其网络参数为：隐藏层层数为5层，每一层网络具有2048个神经元，激活函数使用ReLu函数。其输入是11帧数据的40维log mel-scale filterbanks特征进行拼接所得到的特征（ 根据此处的描述，我们可知，网络的输入层为单元数目为(11*40=440)个，又因为DNN后面会接上HMM模型，因此隐藏层的最后一层也就是DNN网络的输出层。）。这些特征在输入之前需要经过标准化处理（即均值为0，方差为1）。（此处的特征获取可以使用HTK或者Kaldi工具，也可以使用Github 上的python开源工具）
Incorporation of pseudo-filterbanks
在这里，我们有一个具有440（log-）units的filterbank层，DNN的参数设置与基线相同。网络的输入是11帧连续帧数据的256维功率谱。pseudo-filterbanks的数目设置为40个（与基线当中的40维特征相同，此处的结构表明，每个滤波器的维度应该为256维）。pseudo-filterbanks的初始化过程为:增益均设置为1，中心频率沿着Mel尺度进行均匀分割，带宽设置为两倍的Sigma，即对应的Mel-scale filterbank的带宽。
在下图中展示了模型在clean data下的模型WER：
滤波器的形状和初始化参数以及训练之后的参数在下图中展示：
其中，值得注意的是，在male和female之间，增益参数的变化较初始化参数变化比较明显，且二者具有较大的差异，在中心频率方面，与初始化参数的变化不大。
我们分别在clean数据和noise数据当中，测试了基线系统和本论文中提出的系统（DNN+pseduo-filterbanks），参数设置和上面相同，实验结果如下所示：
上表中，WER是在多个SNR情况下的平均值（10db，15db，20db）。
conclusions
- Gaussian filterbanks的自适应性
- 设计网络哪一层具有什么功能。也就是说，一个filterbank应该关注于（作用于）speaker-和noise-specific功能的自适应性上。（In other words, a filterbank layer should concentrate on speaker- and noise-specific functions such as VTLN to efficiently apply adaptation. ）
- 中心频率这一参数与其他参数具有较大的不同（中心频率具有小幅波动，而增益具有较大波动），对所有的参数都使用同一个学习率是不合适的。我们在使用Adam优化器的时候，得到的中心频率相比于SGD得到的结果具有较大的变化。