Seq2Seq模型
传统的机器翻译的方法往往是基于单词与短语的统计，以及复杂的语法结构来完成的。基于序列的方式，可以看成两步，分别是 Encoder 与 Decoder，Encoder 阶段就是将输入的单词序列(单词向量)变成上下文向量，然后 decoder根据这个向量来预测翻译的结果。
encoder 阶段
encoder 阶段面临的一个问题是，对于输入语句，语句的长度往往是不固定的，但是我们训练神经网络往往都是要固定长度的向量。所以如何解决这个问题是 encoder阶段的关键。我们通常使用多层的 LSTM，上一层的输出将作为下一层的输入。
在 Google 提出 Seq2Seq 的时候，提出了将输出的语句反序输入到 encoder中，这么做是为了在 encoder阶段的最后一个输出恰好就是 docoder阶段的第一个输入。
decoder阶段
这一阶段要稍微与encoder阶段要复杂一点点。首先是一个 Token， 一般是一个 <EOS> 表示输入的结束，也就是下图中的 "Go"，表示 decoder 阶段的开始，还有一点不一样就是，我们期望用以及正确预测的数据作为下一次的上下文参考，所以也就是上一节讲到的 (C_i) 的信息，作用到下一个时间点。横向可以看成 序列的，纵向可以看成是并行的(但是实际上不是并行的)。
双向 RNN
上面的方法面临这样一个问题，那就是单词向量往往是与上下文有关的，而不仅仅只于前面的文字有关，所以需要改进单向 RNN，这里我们使用双向 RNN来解决这个问题：
上图是一个双向 LSTM，图中是一个encoder的例子，每一个隐含层的状态都有两个向量表示，分别表示两个方向，(h=left[h^{(f)} quad h^{(b)} ight])。输出也有两个，分别是 (left[ egin{array}{ll}{o_{t}^{(f)}} & {o_{t}^{(b)}}end{array} ight])。
基于全局的 Attention 策略
基于局部的 Attention 策略
Attention 机制
在翻译的模型中，举个简单的例子，
"the ball is on the field,"
其中关键的单词就那么几个，而且很多情况下，如果将所有的单词都考虑进来的话，会导致过拟合，反而会导致语义的不准确，所以提出了attention 的机制，主要思想作用在 decoder阶段，每次观察整个句子，在每一步可以决定那些单词是重要的。
Bahdanau et al.提出的 神经网络翻译模型
encoder阶段使用一个双向 LSTM，
decoder阶段
神经网络隐含层的使用的机制：
其中 (s_{i-1}) 是神经网络前一层的输出，然后 (y_{i-1}) 是上一个时间序列，也就是预测的上一个单词的输出，(C_{t}) 于LSTM中的 (C_t)不太一样，但是本质上都是用来记录信息的。
通过神经网络的输出，预测的机制：
上面式子中用到的 (y_{i-1}) 就很容易理解了。
这个 (C_i) 本质上都是用来记录信息的，这里的计算方式是：
上式中的 (h_j) 也不是LSTM中的隐含层的状态，隐含层的状态是 (s_i) ，而是包含了重点关注第 (i)个单词的信息。所以我们很容易想到，这里获取 (c_i) 的时候必须要加权，就是对每个 (i)，进行加权，那么衡量权重的标志是什么呢？我们用 (e_{ij}) 来表示，
这是一个对齐模型，表示输入的单词 (j), （我们重点关注的）在输出位置为 (i) 的可能性大小。然后我们将这个得分进行加权计算，就得到了
再返回去求 (c_i)。上面的对齐模型，我们可以直接使用一个传统的神经网络。attention 机制的一个好处就是可以很好的翻译长句子，因为可以忽略不需要的信息。
Huong et al. 的神经网络翻译模型
全局attention 机制
对于encoder阶段给出的隐藏层的状态，(h_{1}, ldots, h_{n})，对于 decoder阶段的隐含层状态，(overline{h_{1}}, ldots, overline{h_{n}})。我们可以计算一个得分，(h_{i}) 是当前时间序列已得到的隐含层输出 ,使用下面任意一种函数：
然后就像上面的那个模型一样，通过 (softmax) 函数来计算概率，将这个概率作为加权即可，
然后就得出了单词的文本向量，
接下来就可以计算新的隐含层的状态了：
然后通过最后的预测函数，预测出下一个单词。这里在时间上 ( ilde{h}_{i}) 也会作为下一个时间点的输入。
Local attention 的机制
Local Attention 就是使用了一个窗口表示关注的单词，可以改变窗口的大小，说明对任意的单词都可以关注。
Sequence model decoders
上面的例子也说明了，在 Attention 阶段最重要的是 Decoder的策略。
机器翻译起源于统计翻译，我们从概率的角度就是对于输入语句 (S) 与目标语句 (overline{S})，我们的目标就是
但是对于目标语句可能性太多，也就造成了计算量太大，我们有几种策略：
Beam search
Beam search 是使用的最多的一种策略，这种方法就是每次维持一个大小为 (K) 的翻译语句集合，
当我们预测 (t+1) 的时刻的时候，我们依然取可能性最大的 (K) 个集合：
其中
表示每一种可能的组合。
机器翻译的评估系统
Evaluation against another task
将我们翻译的语句用于其他的系统中以查看翻译的效果。举个例子，我们将翻译的语句用于问答系统，与标准的语句用于问答系统，都能得到准确的回答，那么说明我们翻译的过程中抓住了句子的关键信息，在评估翻译结果的时候，时要考虑多方面的，这是我们既不能说我们的翻译完全正确，也不能说是失败了。
Bilingual Evaluation Understudy (BLEU)
这个方法是通过将一个参与的翻译系统的结果 B，与人工翻译的结果 A，进行对比评估，使用 n-gram 的方法进行对比。其中可能会有多个参考也就是reference。
n-gram 的方法主要是关注窗口的大小。将连在一起的单词作为一个窗口，然后计算匹配的窗口的个数。最简单的例子就是：
对于窗口，我们用 window 来表示，出现的次数，
表示这个 window 在翻译文本与 reference文本中出现的最低的次数，那么精度可以这样计算：
(H_k(c_i)) 表示机器翻译的结果中 (c_i) 出现的次数，(H_k(s_{ij})) 表示标准答案下 (S_{ij}) 出现的次数，这里为什么 (S) 下面有双下标，是因为，这里我们可以有很多个 reference。
惩罚因子
考虑机器翻译的结果为第二句，第一句为参考的情况，这个时候，计算的结果表明，翻译的很好，因为第二个语句比较短，所以 (H_k(s_{ij})) 的正确率表现得比较高，但是实际上整个句子的翻译效果没有那么高：
there are many ways to evaluate the quality of a translation, like comparing the number of n-grams between a candidate translation and reference
the quality of a translation is evaluate of n-grams in a reference and with translation
因此我们引入一个惩罚因子：
其中分子表示 reference的长度，分母是机器翻译结果的长度，那么最终的评分我们就可以表示成：
Dealing with the large output vocabulary
还有一个问题就是处理 vocabulary 过大的情况下，由于输出的时候需要经过一个 (softmax) 函数，所以在输出的时候，如果输出的 vocabulary 过大的话，那么 softmax 这一过程计算量就会特别大。
在第一节课里面我们就介绍过两种方法，分别是分层 SoftMax 与 Negative Sampling(负采样)。传送门：传送门
还有一些方法可以用：
降低词典的大小
为了限制词典的大小，对于语句中出现的未知的单词，我们就用 <UNK> 来表示，但是这样可能会导致源语句失去一些关键信息。还有一种方法就是，
还有一种做法就是将数据集进行划分，这样的好处是，相似关系的数据集一般在一起。每个训练数据的子集取大小为 $ au=left|V^{prime} ight|$ 的字典。然后对整个数据集进行迭代。主要思想就是，我们在训练的时候，将训练数据分成很多个 Min-Batches，对每个 Min-Batches 的选取就是选取到 $ au$ 个单词的时候，用来表示这个字典，然后在训练的时候用这种数据会大大降低在 SoftMax 阶段的计算量。我们假设每次训练集的目标单词，也就是 Min-Batches 部分的单词，构成集合 (V_{i}^{prime})，那么这个集合中每个单词的概率就是：
基于单词的模型与基于字母的模型
基于单词的模型，可以选取出现概率最高的 n-gram 框，然后将这个框不断地加到数据集中去。
简单说下这两种方式的混合策略，
混合策略中，首先是对于单词的预测，使用常规的 LSTM，但是遇到输出的单词是 <UNK> 的时候，我们就需要使用字母级上的神经网络了。