zoukankan      html  css  js  c++  java

  • 机器人写诗项目——递归神经网络（RNN）

    传统神经网络与递归神经网络对比

    传统神经网络

    在这里插入图片描述

    递归神经网络

    在这里插入图片描述

    等价于

    在这里插入图片描述

    RNN网络细节

    在这里插入图片描述
    xt表示第t=1,2,3…step的input
    st为隐藏层的第t step的state，它是网络的记忆单元
    st=f(Uxt+Wst-1)，其中f一般是非线性的激活函数
    ot是第t step的output，如下个单词的向量表示softmax(Vst)

    RNN的反向传播

    在这里插入图片描述

    RNN升级LSTM

    在这里插入图片描述

    C：控制参数

    决定什么样的信息会被保留，什么样的会被遗忘。
    要通过训练得到。

    在这里插入图片描述
    门是一种信息选择式通过的方法
    sigmoid神经网络层和一乘法操作
    在这里插入图片描述
    Sigmoid层输入0~1之间的数值，描述每个部分有多少量可以通过。
    0代表“不允许任何量通过”，1代表“允许任意量通过”。
    在这里插入图片描述

    决定丢弃信息


    在这里插入图片描述

    确定更新的信息


    在这里插入图片描述

    更新细胞状态

    在这里插入图片描述
    在这里插入图片描述

    输出信息

    在这里插入图片描述
    利用新的控制参数产生output
    在这里插入图片描述

    LSTM网络架构

    在这里插入图片描述
  • 相关阅读:
    样式的使用
    样式的使用
    jqurey基础一
    jQuery三天复习.md
    webstorm快捷键大全
    计算机的进制与编码
    2016-4-29HTML标记的使用
    HTML的基本概况
    Apache Maven 入门篇 ( 上 )
    ehcache.xml 分布试缓存
  • 原文地址：https://www.cnblogs.com/AlexKing007/p/12338215.html
Copyright © 2011-2022 走看看