zoukankan      html  css  js  c++  java
  • 太深了,梯度传不下去,于是有了highway。 干脆连highway的参数都不要,直接变残差,于是有了ResNet。 强行稳定参数的均值和方差,于是有了BatchNorm。RNN梯度不稳定,于是加几个通路和门控,于是有了LSTM。 LSTM简化一下,有了GRU。

    请简述神经网络的发展史
    sigmoid会饱和,造成梯度消失。于是有了ReLU。
    ReLU负半轴是死区,造成梯度变0。于是有了LeakyReLU,PReLU。
    强调梯度和权值分布的稳定性,由此有了ELU,以及较新的SELU。
    太深了,梯度传不下去,于是有了highway。
    干脆连highway的参数都不要,直接变残差,于是有了ResNet。
    强行稳定参数的均值和方差,于是有了BatchNorm。
    在梯度流中增加噪声,于是有了 Dropout。
    RNN梯度不稳定,于是加几个通路和门控,于是有了LSTM。
    LSTM简化一下,有了GRU。
    GAN的JS散度有问题,会导致梯度消失或无效,于是有了WGAN。
    WGAN对梯度的clip有问题,于是有了WGAN-GP。

  • 相关阅读:
    django报错问题解决
    django2-项目实战
    django1-环境搭建与开始
    python学习-模块与包(九)
    逆水行舟,不进则退
    待学习规划内容
    越来越强大法则
    windows下安装scoop
    pytest+allure生成测试报告
    Angular vscode 调试
  • 原文地址:https://www.cnblogs.com/bonelee/p/9129782.html
Copyright © 2011-2022 走看看