zoukankan      html  css  js  c++  java
  • 循环神经网络(RNN)

    • 绪论

      1. 循环网络的基本应用

        • 语音问答,机器翻译,股票预测,作词机,作诗,模仿写论文,图像理解

      2. 循环神经网络(RNN)vs卷积神经网络

        • 传统神经网络,卷积神经网络,输入输出相互独立

        • RNN可以更好的处理具有时序关系的任务

        • RNN通过其循环结构引入“记忆”的概念:输出不仅依赖于输入,还依赖“记忆”,将同一个结构循环利用

    • RNN基本组成结构

      1. RNN的基本结构

         

      2. 深度RNN

      3. 双向RNN

      4. 总结

      5. BPTT算法

         

    • 循环神经网络的变种

      1. 传统RNN的问题

        • 当循环神经网络在时间维度上非常深的时候,会导致梯度消失或者梯度爆炸的问题

           

      2. LSTM(长短期记忆模型)

        遗忘门(forget gate)

        输入门(input gate)

        输出门(output gate )

        一个初始化技巧就是将输出门的bias置为正数(例如1或5),这样模型刚开始训练时遗忘门的值接近于1,不会发生梯度消失。

      3. GRU(解决LSTM运算复杂)

  • 相关阅读:
    mongoDB
    邮箱认证
    Django中开启事务的两种方式
    总结
    __new__和__init__和__call__方法理解
    jupyter
    text()和html()区别
    django模型中auto_now和auto_now_add的区别
    ajax嵌套陷阱
    模板内置函数(HTML)
  • 原文地址:https://www.cnblogs.com/mujin-chuyang/p/13546892.html
Copyright © 2011-2022 走看看