zoukankan      html  css  js  c++  java
  • AlexNet网络结构特点总结

    参考论文:ImageNet Classification with Deep Convolutional Neural Networks

    1.特点

    1.1 ReLU Nonlinearity的提出

    • ReLU是非饱和非线性函数,f(x) = max(0, x),收敛速度比饱和激活函数快。

    优缺点:

    • ReLU部分解决了sigmoid的饱和性,缺点是在小于0的地方会出现神经单元死亡,并且不能复活的情况。所以,有关于ReLU的改进方法的提出(leaky ReLU, parameterized ReLU, random ReLU)
    • 计算简单。
    • 收敛速度快。

    1.2 多GPU训练

    1. 并行化的方法是将kernel matrix划分为两部分各自放在不同的GPU上。

    2. GPU之间的通信只发生在部分层。

    3. 5个卷积层,3个全连接层。

    1.3 Local Response Normalization

    • ai是原激活值,bi是抑制后的激活值。
    1. 侧面抑制。也就是当前单元激活值,除以两边单元激活值。也就是说,如果一个单元激活值两边的值比它大一些的话,它自己将受到抑制,值会变小。

    2. 这也是一种正则化的方法。(brightness normalization)

    1.4 Overlapping Pooling

    1. stride < kernei_size 那么就会出现重叠池化现象,有利于防止过拟合。

    2.防止过拟合的方法

    2.1 Data Augmentation

    1. 截取图的不同位置图,以及镜像变换。
    2. 利用PCA,add multiples of the found principal components.

    2.2 Dropout

    1. 训练的时候让这一层部分神经单元输出为0,且不参与反向传播。
    2. 测试的时候让这一层利用上所有的神经单元,但是他们的输出值乘上0.5。
    3. 解释是,输出乘0.5用来近似指数级dropout网络的几何均值。
  • 相关阅读:
    《机电传动控制》学习笔记08-1
    《机电传动控制》学习笔记-07
    《机电传动控制》学习笔记-06
    《机电传动控制》学习笔记05-2
    《机电传动控制》学习笔记05-1
    《团队项目》日志一
    《实时控制软件》第四周作业
    《实时控制软件》第三周作业
    《实时控制软件》第二周作业
    《机电传动控制》PLC仿真
  • 原文地址:https://www.cnblogs.com/zhonghuasong/p/7831235.html
Copyright © 2011-2022 走看看