zoukankan      html  css  js  c++  java
  • [深度学习]CNN--卷积神经网络中用1*1 卷积有什么作用


    1*1卷积过滤器 和正常的过滤器一样,唯一不同的是它的大小是1*1,没有考虑在前一层局部信息之间的关系。最早出现在 Network In Network的论文中 ,使用1*1卷积是想加深加宽网络结构 ,在Inception网络( Going Deeper with Convolutions )中用来降维.

    由于3*3卷积或者5*5卷积在几百个filter的卷积层上做卷积操作时相当耗时,所以1*1卷积在3*3卷积或者5*5卷积计算之前先降低维度。

    那么,1*1卷积的主要作用有以下几点:

    1、降维( dimension reductionality )

    某次卷积之后的结果是W*H*100的特征,现在需要用1*1的卷积核将其降维成W*H*10,即100个通道变成10个通道:
    通过一次卷积操作,W*H*100将变为W*H*1,这样的话,使用10个1*1的卷积核,显然可以卷积出10个W*H*1,再做通道的串接操作,就实现了W*H*5。

    2. 升维

      比如某次卷积之后的结果是W*H*6的特征,现在需要用1*1的卷积核将其降维成W*H*7,即6个通道变成7个通道:
      通过一次卷积操作,W*H*6将变成W*H*1,这样的话,使用7个1*1的卷积核,显然可以卷积出7个W*H*1,再做铜套串接操作,就实现了W*H*7。


    3、加入非线性。卷积层之后经过激励层,1*1的卷积在前一层的学习表示上添加了非线性激励( non-linear activation ),提升网络的表达能力;


  • 相关阅读:
    Linux下的目录结构
    VM
    代码命名规范
    java环境及配置
    Code::Blocks 使用Cygwin编译加调试
    vscode使用体会
    openwrt编译笔记
    ubuntu20 使用root登录
    程序员如何更好的表达自己的想法- Graphviz:关系图脚本绘制工具-转
    编译codelite心得
  • 原文地址:https://www.cnblogs.com/WayneZeng/p/9290714.html
Copyright © 2011-2022 走看看