zoukankan      html  css  js  c++  java
  • AlexNet: ImageNet Classification with Deep Convolutional Neural Networks

    局部响应归一化(Local Response Normalization, LRN):

      LRN,局部响应归一化。在神经学科中,有一个叫横向抑制(lateral inhibition)的概念,这种抑制的作用就是阻止兴奋神经元向邻近神经元传播其动作趋势,从而减少兴奋神经元的邻近神经元的激活程度。借鉴了这一生物现象(其实我们全部东西都是借鉴生物的,不是?),我们使用LRN层来对激活函数的输出数据进行横向抑制,在为激活函数收拾残局的同时,LRN还凸显了该区域的一个峰值 —— 这个峰值特征就是我们想要的特征。

      使用ReLU 后,会发现激活函数之后的值没有了tanh、sigmoid函数那样有一个值域区间

      特别是ReLU,它无限制的激活使得我们更需要LRN来到数据进行归一化。在大规模的数据中,我们大多情况下更看重被凸显的高频特征。因此,用LRN对数据的峰值进行催化而对其周围进行抑制,何乐不为。

      归一化还有助于快速收敛。

      通过把神经元的各个参数代入下面的式子,对参数进行计算操作,然后产生新的值。

       

  • 相关阅读:
    实例 find
    实例 历史命令查找
    Crontab
    find命令
    实例 tar备份以日期命名
    断开网络驱动器后图标不消失
    Windows7系统下优化固态硬盘
    目标进程已退出,但未引发 CoreCLR 启动事件
    md5 helper
    List<T> or IList<T>
  • 原文地址:https://www.cnblogs.com/mengqimoli/p/12785312.html
Copyright © 2011-2022 走看看