深度学习课程笔记（十五）Recurrent Neural Network
2018-08-07 18:55:12
This video tutorial can be found from: Youtube
Issue: 传统方法中，当你的训练数据中，没有那么丰富的 training data，那么可能会导致部分数据的预测为 0，如上图所示。为了不让它变成 0，所以，我们给它一个非常小的 value，如：0.0001。但是这种给定的低概率的 value，是相当不准确的。
所以，我们想能否有一种方法，可以较好的预测这些 value，Neural Network 可以吗？
我们把句子拆分成很多概率相乘的形式，那么，我们得到这样的表达形式：
。然后，我们给 Neural Network 每一个时刻，输入一个单词，就想让它输出下一个我们想要的那么单词对应的 probability 最大。
=====================================================
=====================================================
==>> 接下里 RNN 要开始出场了。
=====================================================
=====================================================
==========================================================================================
我们采用 Backpropagation through time 来进行参数的更新。普通的 BP 算法是按照如下的方式进行更新的：
而 RNN 中用到的是：
实际执行过程中，通常会直接 sum 起来这些 gradient，然后进行一次更新。
由于梯度一直进行相乘，导致最终变得非常小，或者非常大；从而导致梯度消失或者梯度爆炸；
1. Exploding Gradient: Clipping
2. Vanishing Gradient: Initialization + ReLU
