长短期记忆（long short-term memory, LSTM）

摘自：如何简单的理解LSTM——其实没有那么复杂

LSTM的第一步是决定我们要从细胞状态中丢弃什么信息。 该决定由被称为“忘记门”的Sigmoid层实现。它查看h_t-1(前一个输出)和x_t(当前输入)，并为记忆单元格状态C_t-1(上一个状态)中的每个数字输出0和1之间的数字。1代表完全保留，而0代表彻底删除。

（遗忘门）

下一步是决定我们要在细胞状态中存储什么信息。 这部分分为两步。 首先，称为“输入门层”的Sigmoid层决定了我们将更新哪些值。 接下来一个tanh层创建候选记忆细胞向量C_t，该向量将会被加到细胞的状态中。 在下一步中，我们将结合这两个向量来创建更新值

现在是时候去更新上一个状态值C_t−1了，将其更新为C_t。签名的步骤以及决定了应该做什么，我们只需实际执行即可。

我们将上一个状态值乘以f_t，以此表达期待忘记的部分。之后我们将得到的值加上 it∗。这个得到的是新的候选值， 按照我们决定更新每个状态值的多少来衡量。

最后，我们需要决定我们要输出什么。 此输出将基于我们的细胞状态，但将是一个过滤版本。 首先，我们运行一个sigmoid层，它决定了我们要输出的细胞状态的哪些部分。 然后，我们将单元格状态通过tanh（将值规范化到-1和1之间），并将其乘以Sigmoid门的输出，至此我们只输出了我们决定的那些部分。

 

摘自：长短期记忆（LSTM）

LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。

总体图：