简单的seq2seq 模型

简单的seq2seq 模型

1. 首先看看两个滤波器的差分方程，FIR,IIR；编码器有点类似FIR编码，而解码器类似IIR.

2. 解码器就是常规的时间序列的多部预测方式，用一个A预测产生B,用B产生C, 在解码器中输入和输出具有固定的错位对应关系，所有解码器是一个典型的

    同步的序列的多对多模式！！奇妙的是最终还是付诸于同步多对多，那是不是就是告诉我们只要能转换成同步多对多就可以解决问题了？！

https://zhuanlan.zhihu.com/p/28054589

注意力机制：

1.每个输出具有不同的背景向量

2.每个背景向量来自以前多个背景向量的加权和，而不是像以前简单的编码器产生一个背景向量.

3. 需要一个行数为输入长度而列数为输出长度矩阵来描述这种关系！