zoukankan      html  css  js  c++  java
  • Network In Network

    Introduction:

    传统的cnn过滤器是一个泛化的线性模型(GLM),我们认为这GLM的抽象能力是低级别的。把GLM替换为一个更有效的非线性函数近似能够提高抽象能力。当例子是线性可分时,GLM能实现很好的抽象。然而例子很多情况下是线性不可分的,输入的线性函数才能很好地表达。此网络没有采用传统的全连接层,而是采用全局平均池化层。一方面是因为全局平均池化层能很好解释特征映射和类别之间的联系。另一方面,全连接层由于参数太多容易过拟合并且高度依赖dropout regularization,但全局平均池化层本身就是一个结构化的regularizer,他能够天然地阻止过拟合。

     

    全局平均池化:
      传统卷积网络中,卷积层在较低的层进行特征提取,最后一层卷积的特征映射被向量化后传入全连接层再进入softmax的逻辑回归层。全连接层建立了卷积结构和传统分类神经网络的桥梁。

      使得最后一个多层感知卷积层获得的每一个特征图能够对应于一个输出类别。

      方式:将最后一层的特征图求平均数,然后把这些平均数组成一个特征向量输入到softmax层中

      优点:1.强化特征映射和类别之间的一致性

          2.没有参数,可以避免过拟合

          3.对空间信息求和,因此让输入的空间变换更加稳健

        可以把全局平均池化看作是一个结构化的正则项

    http://blog.csdn.net/zhufenghao/article/details/52526611

    http://blog.csdn.net/zimenglan_sysu/article/details/51659549

    http://www.jianshu.com/p/96791a306ea5

  • 相关阅读:
    linux下将可执行程序进行打包
    多节点OpenMPI集群的搭建和使用
    快排
    git 出现:warning: LF will be replaced by CRLF in
    String 根据 第一个逗号去掉逗好后面的内容
    SpringBoot项目中想去掉数据库查询到的数组双括号
    mybatis-plus多条件 or 的使用
    从linux上的docker持久化mysql数据恢复到本地mysql数据库
    @Repository和@Mapper
    JavaScript动画实例:爆裂的粒子
  • 原文地址:https://www.cnblogs.com/ymjyqsx/p/6700685.html
Copyright © 2011-2022 走看看