2021-09-23至2021-10-30关于transformer的学习
Transformer的提出解决了两个问题：
(1) 首先它使用了Attention机制，将序列中的任意两个位置之间的距离是缩小为一个常量；
(2) 其次它不是类似RNN（不能并行）的顺序结构，因此具有更好的并行性，符合现有的GPU框架。
transformer由多个编码器和解码器构成，其中编码器包括：self-attention(自注意力)和feed forward netword(前馈网络)；解码器包括：自注意力，编码解码注意力和前馈网络。下面具体介绍各个部分。
一、encoder:
Embedding（嵌入）:
与one-hot编码相比embedding将大型稀疏向量转换为保留语义关系的低维空间。
原始句子的单词长度是length=4,即‘我’ ‘爱’ ‘机器’ ‘学习’。经过embedding后每个词的embedding向量是512。那么“我爱机器学习”这个句子的embedding后的维度是[4，512 ] （若是批量输入，则embedding后的维度是[batch, 4, 512]）。
Padding(填充):
因为每个样本的原始句子的长度是不一样的，假设样本中句子的最大长度是10，那么对于长度不足10的句子，需要补足到10个长度，shape就变为[10, 512], 补全的位置上的embedding数值自然就是0了。
Padding Mask：对于输入序列一般我们都要进行padding补齐，也就是说设定一个统一长度N，在较短的序列后面填充0到长度为N。对于那些补零的数据来说，我们的attention机制不应该把注意力放在这些位置上，所以我们需要进行一些处理。具体的做法是，把这些位置的值加上一个非常大的负数(负无穷)，这样经过softmax后，这些位置的权重就会接近0。Transformer的padding mask实际上是一个张量，每个值都是一个Boolean，值为false的地方就是要进行处理的地方。
Positional Embedding（位置编码）
得到补全后的句子embedding向量后，直接输入encoder的话，那么是没有考虑到句子中的位置顺序关系的。此时需要再加一个位置向量，位置向量在模型训练中有特定的方式，可以表示每个词的位置或者不同词之间的距离；总之，核心思想是在attention计算时提供有效的距离信息。
关于positional embedding ，文章提出两种方法：
1.Learned Positional Embedding ，这个是绝对位置编码，即直接对不同的位置随机初始化一个postion embedding，这个postion embedding作为参数进行训练。
2.Sinusoidal Position Embedding ，相对位置编码，即三角函数编码。
下面详细讲下Sinusoidal Position Embedding 三角函数编码。
Positional Embedding和句子embedding是add操作，那么自然其shape是相同的也是[10, 512] 。transformer的输入是Word Embedding + Position Embedding。
Sinusoidal Positional Embedding具体怎么得来呢，我们可以先思考下，使用绝对位置编码，不同位置对应的positional embedding固然不同，但是位置1和位置2的距离比位置3和位置10的距离更近，位置1和位置2与位置3和位置4都只相差1。
这些关于位置的相对含义，模型能够通过绝对位置编码参数学习到吗？此外使用Learned Positional Embedding编码，位置之间没有约束关系，需要网络训练大量参数，我们只能期待它隐式地学到，是否有更合理的方法能够显示的让模型理解位置的相对关系呢？
肯定是有的，首先由下述公式得到Embedding值:
对于句子中的每一个字，其位置pos∈[0,1,2,…,9](假设每句话10个字), 每个字是N（512）维向量，维度 i （i∈[ 0,1,2,3,4,..N]）带入函数
？：由于正弦函数能够表达相对位置信息，那么对每个positional embedding进行 sin 或者cos激活，可能效果更好，那就再将偶数列上的embedding值用sin()函数激活，奇数列的embedding值用cos()函数激活得到的具体示意图如下:
这样使用三角函数设计的好处是位置 i 处的单词的psotional embedding可以被位置 i+k 处单词的psotional embedding线性表示，反应两处单词的其相对位置关系。此外位置i和i+k的psotional embedding内积会随着相对位置的递增而减小，从而表征位置的相对距离。
但是不难发现，由于距离的对称性，Sinusoidal Position Encoding虽然能够反映相对位置的距离关系，但是无法区分i和i+j的方向。即pe(i)*pe(i+j) =pe(i)*pe(i-k)
另外，从参数维度上，使用三角函数Position Encoding不会引入额外参数，Learned Positional Embedding增加的参数量会随序列语句长度线性增长。在可扩展性上，Learned Positional Embedding可扩展性较差，只能表征在max_seq_length以内的位置，而三角函数Position Encoding没有这样的限制，可扩展性更强。
attention（注意力层）
每个头Zi的结果是64维，最终的输出是512维
单头attention 的 Q/K/V 的shape和多头attention 的每个头的Qi/Ki/Vi的大小是不一样的，假如单头attention 的 Q/K/V的参数矩阵WQ/WK/WV的shape分别是[512, 512](此处假设encoder的输入和输出是一样的shape)，那么多头attention (假设8个头)的每个头的Qi/Ki/Vi的参数矩阵WQi/WKi/WVi大小是[512， 512/8]。
add&Norm
使用残差residual connection
避免梯度消失。
残差连接对应的是每个block中的add
残差连接示意图如下。
残差连接
假设网络中某个层对输入x作用（比如使用Relu作用）后的输出是，那么增加residual connection之后，就变成了：这个+x操作就是一个shortcut。
那么残差结构有什么好处呢？显而易见：因为增加了一项x，那么该层网络对x求偏导的时候，多了一个常数项1。在反向传播过程中，梯度连乘，也不会造成梯度消失。
FeedForward（前馈网络）
全连接，隐藏层维度为2048，输入输出均为512
2.decoder
注意encoder的输出并没直接作为decoder的直接输入。
训练的时候，1.初始decoder的time step为1时(也就是第一次接收输入)，其输入为一个特殊的token，可能是目标序列开始的token(如<BOS>)，也可能是源序列结尾的token(如<EOS>)，也可能是其它视任务而定的输入等等，不同源码中可能有微小的差异，其目标则是预测翻译后的第1个单词(token)是什么；2.然后<BOS>和预测出来的第1个单词一起，再次作为decoder的输入，得到第2个预测单词；3后续依此类推；
具体的例子如下：
样本：“我/爱/机器/学习”和 "i/ love /machine/ learning"
训练：
1. 把“我/爱/机器/学习”embedding后输入到encoder里去，最后一层的encoder最终输出的outputs [10, 512]（假设我们采用的embedding长度为512，而且batch size = 1),此outputs 乘以新的参数矩阵，可以作为decoder里每一层用到的K和V；
2. 将<bos>作为decoder的初始输入，将decoder的最大概率输出词 A1和‘i’做cross entropy计算error。
3. 将<bos>，"i" 作为decoder的输入，将decoder的最大概率输出词 A2 和‘love’做cross entropy计算error。
4. 将<bos>，"i"，"love" 作为decoder的输入，将decoder的最大概率输出词A3和'machine' 做cross entropy计算error。
5. 将<bos>，"i"，"love "，"machine" 作为decoder的输入，将decoder最大概率输出词A4和‘learning’做cross entropy计算error。
6. 将<bos>，"i"，"love "，"machine"，"learning" 作为decoder的输入，将decoder最大概率输出词A5和终止符</s>做cross entropy计算error。
Sequence Mask
上述训练过程是挨个单词串行进行的，那么能不能并行进行呢，当然可以。可以看到上述单个句子训练时候，输入到 decoder的分别是
<bos>
<bos>，"i"
<bos>，"i"，"love"
<bos>，"i"，"love "，"machine"
<bos>，"i"，"love "，"machine"，"learning"
那么为何不将这些输入组成矩阵，进行输入呢？这些输入组成矩阵形式如下：
将decoder在上述2-6步次的输入补全为一个完整的句子
[<bos>，"i"，"love "，"machine"，"learning"
<bos>，"i"，"love "，"machine"，"learning"
<bos>，"i"，"love "，"machine"，"learning"
<bos>，"i"，"love "，"machine"，"learning"
<bos>，"i"，"love "，"machine"，"learning"]
然后将上述矩阵矩阵乘以一个 mask矩阵
[1 0 0 0 0
1 1 0 0 0
1 1 1 0 0
1 1 1 1 0
1 1 1 1 1 ]
这样是不是就得到了
[<bos>
<bos>，"i"
<bos>，"i"，"love"
<bos>，"i"，"love "，"machine"
<bos>，"i"，"love "，"machine"，"learning" ]
这样的矩阵了 。着就是我们需要输入矩阵。这个mask矩阵就是 sequence mask，其实它和encoder中的padding mask 异曲同工。
这样将这个矩阵输入到decoder（其实你可以想一下，此时这个矩阵是不是类似于批处理，矩阵的每行是一个样本，只是每行的样本长度不一样，每行输入后最终得到一个输出概率分布，作为矩阵输入的话一下可以得到5个输出概率分布）。这样我们就可以进行并行计算进行训练了。
test的时候 decoder不需要sequencen mask，因为test的时候是不知道未来要翻译出来的句子的全貌的，自然只能反复输入得到最终完整翻译的句子
测试
训练好模型， 测试的时候，比如用 '机器学习很有趣'当作测试样本，得到其英语翻译。这一句经过encoder后得到输出tensor，送入到decoder(并不是当作decoder的直接输入)：
1.然后用起始符<bos>当作decoder的 输入，得到输出 machine
2. 用<bos> + machine 当作输入得到输出 learning
3.用 <bos> + machine + learning 当作输入得到is
4.用<bos> + machine + learning + is 当作输入得到interesting
5.用<bos> + machine + learning + is + interesting 当作输入得到 结束符号<eos>
我们就得到了完整的翻译 'machine learning is interesting'
可以看到，在测试过程中，只能一个单词一个单词的进行输出，是串行进行的。