zoukankan      html  css  js  c++  java
  • CNN中常见的几种pool操作

    0. 高

        首先回忆一下,CNN中用来加深网络深度的基本操作“Conv-relu-pool”。今天要讲的几种pool方法就是池化层的常用操作(具体来讲,其实是应用于NLP的CNN网络。不过对于图像应该也有所启发,过程不难,可以当小甜点食用)。在第二篇CNN的讲解中,当时的pool层是选用如下图的maxpool的方式,相对来说比较暴力,而且降维效果非常好。

    1. 白

        有学者认为,直接食用maxpool太过粗暴。如上图中,每一个2*2分块要丢失3个块的信息而只取其一。所以提出了一些其他的maxpool方法。

      1.1 K-maxpool

        看名字应该知道,就是取K个最大的值作为本区域的采样代表值,保留了更多的原信息。相应的是增加了采样的维度,后续的计算会更加复杂一点(需要增多层与层之间的参数。例如CNN的MNIST例子中,最后一层全连接层为20->10,而K-maxpool可能为40->10等等)。

     

      1.2 Chunk-maxpool

        Chunk-maxpool是基于K-maxpool的一种方法。它的做法是先将采样对象分块,然后取快中的max或者K-max。这种做法就保留了更多的采样信息,同时采样量和计算量也剧增。

    2. 听话

        具体使用哪种pool方法可能要依据具体的实验数据,参考一些论文或许会比较好。但是maxpool,K-maxpool,Chunk-maxpool这三种常见pool方法应该还是要有所了解的。图像领域不知道应用是否广泛,但在NLP领域这几种方法应用还是挺多的。小黑喵教程今天就到此为止了。

  • 相关阅读:
    chart控件多个ChartArea
    winform chart画折线,波形图,多条数据
    C# Chart 折线图 多条数据展示
    task一个任务结束后执行另一个操作
    C#多线程同步 读写锁ReaderWriterLock的用法
    C# 多线程文件读写整理总结
    vue解决跨域问题
    接前端页面
    使用vue+zrender绘制体温单 三测单(2)
    使用vue+zrender绘制体温单 三测单(1)
  • 原文地址:https://www.cnblogs.com/catallen/p/8862271.html
Copyright © 2011-2022 走看看