zoukankan      html  css  js  c++  java
  • 200813_tensorflow2---6、LSTM的用途(杂)

    200813_tensorflow2---6、LSTM的用途(杂)

    一、总结

    一句话总结:

    长短期记忆(Long short-term memory, LSTM)是一种特殊的RNN,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说,就是相比普通的RNN,LSTM能够在更长的序列中有更好的表现。

    1、循环神经网络真的很简单,直接按照这个公式计算就好?

    $$h _ { t } = anh ( x _ { t } w _ { x h } + h _ { t - 1 } w _ { h h } + ext { bh } )$$

    2、rnn展开步数?

    需要经过几步得到输出,rnn的展开步数就是几步,比如adcd推断e,那么因为四个输入abcd,就是展开步数就是4

    3、l1正则化和l2正则化及区别?

    l1正则化:$$operatorname { cost } = ( Wx - ext { real } y ) ^ { 2 } + ext { abs } ( W )$$
    l2正则化:$$operatorname { cost } = ( W x - ext { real } y ) ^ { 2 } + ( W ) ^ { 2 }$$
    l1正则化和l2正则化区别:也就是后面加的是参数的一次项还是平方项

    4、RNN 面临的较大问题?

    I)、RNN 面临的较大问题是无法解决长跨度依赖问题,即后面节点相对于跨度很大的前面时间节点的信息感知能力太弱。
    II)、长跨度依赖的根本问题在于,多阶段的反向传播后会导致梯度消失、梯度爆炸。可以使用梯度截断去解决梯度爆炸问题,但无法轻易解决梯度消失问题。

    5、长短记忆网络(Long Short Term Memory,LSTM)?

    (I)、为了解决长期依赖问题,长短记忆网络(Long Short Term Memory,LSTM)应运而生。
    (II)、之所以 LSTM 能解决 RNN 的长期依赖问题,是因为 LSTM 使用门(gate)机制对信息的流通和损失进行控制。
    (III)、LSTM就是有输入门、遗忘门、输出门、记忆体、候选态、细胞态等,就是模拟生物的一些规则,比如遗忘、比如后面记忆是基于前面知识收获

    6、门控循环单元(Gated Recurrent Unit,GRU)?

    门控循环单元(Gated Recurrent Unit,GRU)是 LSTM 的一种变体,将 LSTM 中遗忘门与输入门合二为一为更新门,模型比 LSTM 模型更简单。

    二、内容在总结中

    博客对应课程的视频位置:

     
    我的旨在学过的东西不再忘记(主要使用艾宾浩斯遗忘曲线算法及其它智能学习复习算法)的偏公益性质的完全免费的编程视频学习网站: fanrenyi.com;有各种前端、后端、算法、大数据、人工智能等课程。
    博主25岁,前端后端算法大数据人工智能都有兴趣。
    大家有啥都可以加博主联系方式(qq404006308,微信fan404006308)互相交流。工作、生活、心境,可以互相启迪。
    聊技术,交朋友,修心境,qq404006308,微信fan404006308
    26岁,真心找女朋友,非诚勿扰,微信fan404006308,qq404006308
    人工智能群:939687837

    作者相关推荐

  • 相关阅读:
    Log4net使用总结,防止自定义的logger和root重复写入日志
    如何实现asp.net中FileUpload文件类型过滤功能
    C# 中 SerialPort.GetPortNames 获取串口号错误的问题及解决方法
    GOF 设计模式 [转载]
    CSS常用字体属性(多出的文本隐藏,或者以省略号的形式显示)和背景样式以及背景图的2个不常用属性:backgroundorigin和backgroundclip
    关于CSS各种选择器,还有各种引入样式表的区别,import导入样式表,在介绍一些伪类选择器
    MV*详解
    简易刮刮乐源码
    Gulp开发教程
    小程序的那些坑
  • 原文地址:https://www.cnblogs.com/Renyi-Fan/p/13531940.html
Copyright © 2011-2022 走看看