传统神经网络与递归神经网络对比
传统神经网络
递归神经网络
等价于
RNN网络细节
xt表示第t=1,2,3…step的input
st为隐藏层的第t step的state，它是网络的记忆单元
st=f(Uxt+Wst-1)，其中f一般是非线性的激活函数
ot是第t step的output，如下个单词的向量表示softmax(Vst)
RNN的反向传播
RNN升级LSTM
C：控制参数
决定什么样的信息会被保留，什么样的会被遗忘。
要通过训练得到。
门是一种信息选择式通过的方法
sigmoid神经网络层和一乘法操作
Sigmoid层输入0~1之间的数值，描述每个部分有多少量可以通过。
0代表“不允许任何量通过”，1代表“允许任意量通过”。
决定丢弃信息
确定更新的信息
更新细胞状态
输出信息
利用新的控制参数产生output
LSTM网络架构
