RNN（Recurrent Netural Network）循环神经网络，用来处理和预测序列数据，在语音识别，语言描述，翻译等领域有很好的运用。
传统神经网络结构如CNN是假设所有的input之间是相互独立的，output之间也相互独立，但实际中会存在由前面几个字去推测后面的词，这个时候CNN的假设就不能成立了。
而RNN可以通过时序结构来关联input，记住input之间的关系。
RNN的典型结构如下：
展开之后为：
可以看到隐藏层的输入有两个：隐藏层的输入（前一个隐藏层的输出 h）以及原始输入（指某个词的vector x）
具体例子如下：
RNN模型中有个time step的概念，表示记忆的长度，例子中的记忆长度就是4.
但是RNN无法解决长时间依赖的问题，也就是记忆长度不能特别长（容易出现梯度弥散的问题），因此出现了一些改进版的RNN，如LSTM（Long short term memory）
两者的结构对比图如下：
从对比图上可以看出，所有RNN都具有一个重复模块，标准RNN重复模板是比较简单的tanh，而LSTM则是由通过精心设计的称作“门”的结构来去除或者增加信息。
（1）清除无用信息 （遗忘门 forget gate）
（2）添加新的信息
（3）更新细胞状态
（4）输出信息
以上便展示了LSTM的几个重要计算逻辑。
在现实中，我们用的训练数据往往是句子或者词组，因此需要先做一些处理，下面介绍几个句子处理中的常见概念
（1）词向量（把一个词转换成一个向量）
a. one hot representation
用一个很长向量表示一个词，向量长度是词典长度，向量中只有元素0和1，1的位置对应词在词典中的位置
这种方法在NLP中运用的比较多，但也有明显的问题：维度灾难和无法刻画近义词之间的相似性
b. distributed representation
以普通向量表示一个词，一般是50维或者100维 （？？？ how），可以认为是Word embedding（词嵌入）？？
（2）Word2Vec （google提出的基于word embedding的工具或者算法集合）
本质上是构造多层神经网络，input是one-hot vector，通过hidden layer（lookup table）找到对应的vector，在训练过程中不断修正参数，具体图如下：
计算过程如下：
这样一个one hot vector被转换成dense vector，而且维度降低
Word2Vec的主要模式：
a. CBOW（Continuous Bag of Words), 从当前词的上下文推测当前词语，对小型数据库比较适合
b. Skip-gram 从当前词语推测词语的上下文
举例如下：
There is a little dog.
CBOW: [There, a] -> [is], [is, little] -> [a], [a, dog] -> [little]
Skip-gram:(skip1) [is] -> [There], [is] -> a, [a] -> [is], [a] -> [little] ....
c. 复杂度分析 （未完待续）
Word2Vec的主要步骤（未完待续）