zoukankan      html  css  js  c++  java
  • CNN中常见的几种pool操作

    0. 高

        首先回忆一下,CNN中用来加深网络深度的基本操作“Conv-relu-pool”。今天要讲的几种pool方法就是池化层的常用操作(具体来讲,其实是应用于NLP的CNN网络。不过对于图像应该也有所启发,过程不难,可以当小甜点食用)。在第二篇CNN的讲解中,当时的pool层是选用如下图的maxpool的方式,相对来说比较暴力,而且降维效果非常好。

    1. 白

        有学者认为,直接食用maxpool太过粗暴。如上图中,每一个2*2分块要丢失3个块的信息而只取其一。所以提出了一些其他的maxpool方法。

      1.1 K-maxpool

        看名字应该知道,就是取K个最大的值作为本区域的采样代表值,保留了更多的原信息。相应的是增加了采样的维度,后续的计算会更加复杂一点(需要增多层与层之间的参数。例如CNN的MNIST例子中,最后一层全连接层为20->10,而K-maxpool可能为40->10等等)。

     

      1.2 Chunk-maxpool

        Chunk-maxpool是基于K-maxpool的一种方法。它的做法是先将采样对象分块,然后取快中的max或者K-max。这种做法就保留了更多的采样信息,同时采样量和计算量也剧增。

    2. 听话

        具体使用哪种pool方法可能要依据具体的实验数据,参考一些论文或许会比较好。但是maxpool,K-maxpool,Chunk-maxpool这三种常见pool方法应该还是要有所了解的。图像领域不知道应用是否广泛,但在NLP领域这几种方法应用还是挺多的。小黑喵教程今天就到此为止了。

  • 相关阅读:
    BZOJ4416 SHOI2013阶乘字符串(状压dp)
    雅礼集训 Day2 T3 联盟 解题报告
    雅礼集训 Day1 T2 折射
    雅礼集训 Day1 T1 养花
    P1494 [国家集训队]小Z的袜子/莫队学习笔记(误
    洛谷 P2155 [SDOI2008]沙拉公主的困惑 解题报告
    动态MST
    洛谷 P2606 [ZJOI2010]排列计数 解题报告
    牛客 2018NOIP 模你赛2 T2 分糖果 解题报告
    洛谷 P3396 哈希冲突 解题报告
  • 原文地址:https://www.cnblogs.com/catallen/p/8862271.html
Copyright © 2011-2022 走看看