LAS是Listen(Encoder),Attend,和Spell(Decoder)的简称
第一个步骤Listen(Encoder)
listen的作用是输入一段语音信号，输出一段向量,去掉语音中的杂序，只保留和语音有关的部分。
上图中acoustic features表示的是每一帧的声音信号。
listen进行encoder
- RNN
- CNN
将fliter沿着时间的方向扫过每一个acoustic features ,每一个fliter会吃一个范围的acoustic features进去得到一个数值，不同的fliter会产生不同的数值，最后生成的是一个向量。
- self-attention layers
listen的时候进行down sampling(降采样)
一段声音信号表示成acoustic features的时候太长，1秒钟的声音信号有100个向量，且相邻的向量之间包含的信息量也相差不大，所以在做语音识别的过程中，为了保持训练过程更有效率，就产生了down sampling.
- 减少RNN的运算量
pyramid RNN
Pooling over time
上图中每一层都是RNN。左边是将相邻两个加起来送到下一层，右边是在相邻两个之间选择一个送到下一层。 - 减少CNN和self-attention的运算量
在做attention时，每一个时间点的feature都会去attend 整个输入序列中所有的feature，在做翻译时可能表现很好，但在语音识别中，一秒钟就有100个acoustic features，太长了，无法很好的做attention。因此truncated self-attention限制attention的长度，只看未来和过去一段时间的输入序列。
第二个步骤Attention
两种常用的attention方式
- dot-product attention
- additive attention
attntion 的过程
上图中(z_0)和encode的每一个(h)进行一个计算，(z_0)和(h^1)计算得到(alpha_0^1) , 和(h^2)计算得到(alpha_0^2) , ....。Encoder会输入一串acoustic features ，每一个acoustic features都对应一个输出,每一个输出都会得到一个(alpha)，然后将得到的(alpha)经过一个softmax层，得到(hat{alpha})，最终(z_0)的attention的值(c^0)为最后概率和输出的乘积形式。(c^0)作为下一个decode的输入，在文献中(c^0)一般写成context vector。
第三个步骤Spell
-
初始的(z_0)做attention后spell
上图中输出distribute over all tokens就是对词典中每一个词汇生成一个概率，所有概率之和为1。具体输出什么词汇就看那个概率最大，概率最大的即为当前的输出。 -
再拿hidden state 中的(z_1)继续去做attention
算出新的(alpha)的值，经过softmax后(hat{alpha})值，最后用(hat{alpha})乘以(h)得到(c^1)作为下一次decode的输入。
上一次spell的输出（此处是c）,上一个hidden state (z^1)，和decode的输入(c^1)共同决定了hidden state 的值(z^2)，然后将(z^2)做一个attention，以此类推,...其示意图如下：
训练
teacher forcing
在训练过程中可能会存在一个问题，就是之后的输出和之前的输出有关，所以如果前面的输入错了的话，后面无论怎么训练都无法达到好的训练效果，因此在训练时加一个teacher forcing ,直接将上一时刻正确的结果作为下一次的输入，避免前面一错全错。
attention的一些知识
- attention的不同用法
左边和右边的差异就是，attention得到的结果是在下一个time_step使用还是在这一个time_step使用。到底哪一个好也不好判断，但第一次用此方法做论文的是两种方法都使用了。attention得到的结果在当前步和下一步都使用一次。
- location-aware attention
在attention的过程中，按照我们的想法，应该是从左到右，注意力慢慢转移，但是在实际运算中，注意力可能是随便乱跳的，这就和我们的初衷相违背。
现在在attention进行计算的时候，(z^0)在和(h^2)进行attention计算时，也要考虑与(h^2)相邻的区域的取值。
补充
1.Beam Search
原始的输出是寻找当前步骤的最大值（类似于贪心算法），很容易陷入局部最优，刚开始很好，但可能最后的一条路径并不是概率最大的。假设每次只有两种情况A,B供选择。
beam search不是只保留当前的最大值，而是保留当前最优的k个值，k的具体取值自己调，k越大，找出最大路径的可能性越大，但是所需的算力也越大，k越小，所需的算力小，但是找出最大路径的可能性也越小，当k=1时，beam search 退化为贪心算法。
LAS的局限性
- 1.LAS包含attention，所以需要encoder将所有的语音听完，这就导致无法听一部分就输出一部分，不能online。