RNN：
Vanilla Neural Network ：对单一固定的输入给出单一固定输出
Recurrent Neural Network:对单一固定的输入给出一系列输出（如：可边长序列），例：图片描述
对可变尺寸输入给出单一固定输出，例：语句的情感分析，对视频（时间长度可变）做决策
对可变尺寸输入给出可变尺寸输出，例：机器翻译，对视频做帧数分类 
x作为输入传入RNN，RNN有一个内部隐藏态（internal hidden state），整个隐藏态会在RNN每次读取新的输入时更新，隐藏态会在下次读取输入时将结果反馈至模型。ht代表新的状态，fw代表一种循环函数机制，xt代表输入每个时步的fw和权重都相同。
对可变尺寸输入给出可变尺寸输出：
对可变尺寸输入给出单一固定输出
对单一固定的输入给出一系列输出
多对多：机器翻译：
机器翻译使用序列to序列模型，既一对多和多对一组合，编码器是多对一模型，输入句子，输出向量；解码器是一对多模型，输入向量，输出预测结果
由预测结果的损失函数，同时训练编码器和解码器
语言模型：
通常采用截取方法计算梯度，避免梯度爆炸
RNN注意力
LSTM:
1