TensorFlow循环神经网络

实验目的

1.了解循环神经网络的原理

2.掌握循环神经网络的操作

实验原理

RNN的网络结构及原理

RNNs包含输入单元(Input units)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1.,..}。RNNs还包含隐藏单元(Hidden units)，我们将其输出集标记为{h0,h1,...,ht,ht+1,...}，这些隐藏单元完成了最为主要的工作。

它的网络结构如下：

 

各个变量的含义：

 

展开以后形式：

 

其中每个圆圈可以看作是一个单元，而且每个单元做的事情也是一样的，因此可以折叠成左半图的样子。用一句话解释RNN，就是一个单元结构重复使用。

RNN是一个序列到序列的模型，假设xt-1,xt,xt+1是一个输入：“我是中国“，那么ot-1,ot就应该对应”是”，”中国”这两个，预测下一个词最有可能是什么？就是ot+1应该是”人”的概率比较大。