因为循环神经网络RNN存在长时间传输,信息丢失的问题,所以提出了LSTM,长短时间记忆网络。
上图中,(x_{0})和(x_{1})的信息,在传输到(h_{3})的时候,会存在严重丢失。
如果花费大量精力去调整参数,也可以做到信息不丢失。但是这太难了。
LSTMs通过增加4个网络层来解决这个问题。