绪论
1 循环神经网络的应用
- 视觉问答
- 语音问答
- 机器翻译
- 股票预测
- 作词机
- 作诗
- 模仿写论文
- 模仿写代码
2 循环神经网络vs卷积神经网络
- 传统神经网络、卷积神经网络，输入和输出之间是相互独立的
- RNN可以更好的处理具有时序关系的任务
- RNN通过其循环结构引入“记忆”的概念
- 输出不仅依赖于输入，还依赖于“记忆”
- 将同一个结构循环利用
基本组成结构
1 基本结构
隐层的数据被存入一个“记忆”单元中。
存在“记忆”中的数据会被作为另一个输入与原始输入一起输入到神经网络中。
RNN的基本结构：
- 两种输入——正常输入，记忆单元的输入
- 两种输出——正常输出，更新记忆单元的值
- 一种函数
2 深度RNN
3 双向RNN
4 结构总结
- 隐层状态h可以被看作是“记忆”，因为它包含了之前时间点上的相关信息
- 输出y不仅由当前的输入所决定，还会考虑到之前的“记忆”，由两者共同决定。
- RNN在不同时刻共享同一组参数（U,W,V）,极大的减小了需要训练和预估的参数量
5 BPTT算法
在RNN的基础上，引入了误差反传播的方式。
同样，误差反向传播的方式是链式反向对参数求偏导，但由于RNN结构中“记忆”的形式，所以求导的形式与之前有些不同的地方。
循环神经网络的变种
1 传统RNN的问题
2 LSTM（长短期记忆模型）
LSTM拥有三个门（遗忘门，输入门，输出门）来保护和控制细胞状态
2.1 遗忘门
2.2 输入门
2.3 输出门
2.4 与RNN比较
2.5 LSTM总结
3 GRU
