zoukankan      html  css  js  c++  java
  • LSTM模型

    摘自:http://www.voidcn.com/article/p-ntafyhkn-zc.html

    (二)LSTM模型

    1.长短期记忆模型(long-short term memory)是一种特殊的RNN模型,是为了解决RNN模型梯度弥散的问题而提出的;在传统的RNN中,训练算法使用的是BPTT,当时间比较长时,需要回传的残差会指数下降,导致网络权重更新缓慢,无法体现出RNN的长期记忆的效果,因此需要一个存储单元来存储记忆,因此LSTM模型被提出;

    2.下面两个图可以看出RNN与LSTM的区别:

    (1)RNN

    (2)LSTM

    PS:

    (1)部分图形含义如下:

    (2)RNN与LSTM最大的区别在于LSTM中最顶层多了一条名为“cell state”的信息传送带,其实也就是信息记忆的地方;

    3.LSTM的核心思想:

    (1)理解LSTM的核心是“cell state”,暂且名为细胞状态,也就是上述图中最顶的传送线,如下:

    (2)cell state也可以理解为传送带,个人理解其实就是整个模型中的记忆空间,随着时间而变化的,当然,传送带本身是无法控制哪些信息是否被记忆,起控制作用的是下面将讲述的控制门(gate);

    (3)控制门的结构如下:主要由一个sigmoid函数跟点乘操作组成;sigmoid函数的值为0-1之间,点乘操作决定多少信息可以传送过去,当为0时,不传送,当为1时,全部传送;

    (4)LSTM中有3个控制门:输入门,输出门,记忆门;

    4.LSTM工作原理:

    (1)forget gate:选择忘记过去某些信息:

    (2)input gate:记忆现在的某些信息:

    (3)将过去与现在的记忆进行合并:

    (4)output gate:输出

    PS:以上是标准的LSTM的结构,实际应用中常常根据需要进行稍微改善;

    5.LSTM的改善

    (1)peephole connections:为每个门的输入增加一个cell state的信号

    (2)coupled forget and input gates:合并忘记门与输入门

  • 相关阅读:
    1583: [Usaco2009 Mar]Moon Mooing 哞哞叫
    1734: [Usaco2005 feb]Aggressive cows 愤怒的牛
    1596: [Usaco2008 Jan]电话网络
    1589: [Usaco2008 Dec]Trick or Treat on the Farm 采集糖果
    机器学习笔记(2)单变量线性回归
    P4编程环境搭建遇到的问题与解决方法
    P4编程环境搭建
    机器学习笔记(1)监督学习和无监督学习
    阅读 用P4对数据平面进行编程
    Mininet实验 MAC地址学习分析
  • 原文地址:https://www.cnblogs.com/bonelee/p/7714643.html
Copyright © 2011-2022 走看看