zoukankan      html  css  js  c++  java
  • Deep learning:三十八(Stacked CNN简单介绍)

      前言:

      本节主要是来简单介绍下stacked CNN(深度卷积网络),起源于本人在构建SAE网络时的一点困惑:见Deep learning:三十六(关于构建深度卷积SAE网络的一点困惑)。因为有时候针对大图片进行recognition时,需要用到无监督学习的方法去pre-training(预训练)stacked CNN的每层网络,然后用BP算法对整个网络进行fine-tuning(微调),并且上一层的输出作为下一层的输入。这几句话说起来很简单,可是真的这么容易吗?对于初学者来说,在实际实现这个流程时并不是那么顺利,因为这其中要涉及到很多细节问题。这里不打算细讲deep statcked网络以及covolution,pooling,这几部分的内容可以参考前面的博文:Deep learning:十六(deep networks)Deep learning:十七(Linear Decoders,Convolution和Pooling)。而只只重点介绍以下一个方面的内容(具体见后面的解释)。

      基础知识:

      首先需要知道的是,convolution和pooling的优势为使网络结构中所需学习到的参数个数变得更少,并且学习到的特征具有一些不变性,比如说平移,旋转不变性。以2维图像提取为例,学习的参数个数变少是因为不需要用整张图片的像素来输入到网络,而只需学习其中一部分patch。而不变的特性则是由于采用了mean-pooling或者max-pooling等方法。

      以经典的LeNet5结构图为例:

       

      可以看出对于这个网络,每输入一张32*32大小的图片,就输出一个84维的向量,这个向量即我们提取出的特征向量。

      网络的C1层是由6张28*28大小的特征图构成,其来源是我们用6个5*5大小的patch对32*32大小的输入图进行convolution得到,28=32-5+1,其中每次移动步伐为1个像素。 而到了s2层则变成了6张14*14大小的特征图,原因是每次对4个像素(即2*2的)进行pooling得到1个值。这些都很容易理解,在ufldl教程Feature extraction using convolutionPooling中给出了详细的解释。

      最难问题的就是:C3那16张10*10大小的特征图是怎么来?这才是本文中最想讲清楚的。

      有人可能会讲,这不是很简单么,将S2层的内容输入到一个输入层为5*5,隐含层为16的网络即可。其实这种解释是错的,还是没有说到问题本质。我的答案是:S2的特征图用1个输入层为150(=5*5*6,不是5*5)个节点,输出层为16个节点的网络进行convolution

      并且此时, C3层的每个特征图并不一定是都与S2层的特征图相连接,有可能只与其中的某几个连接,比如说在LeNet5中,其连接情况如下所示:

       

      其中打X了的表示两者之间有连接的。取我们学习到的网络(结构为150-16)中16个隐含节点种的一个拿来分析,比如拿C3中的第3号特征图来说,它与上层网络S2第3,4,5号特征图连接。那么该第3号特征图的值(假设为H3)是怎么得到的呢其过程如下:

      首先我们把网络150-16(以后这样表示,表面输入层节点为150,隐含层节点为16)中输入的150个节点分成6个部分,每个部分为连续的25个节点。取出倒数第3个部分的节点(为25个),且同时是与隐含层16个节点中的第4(因为对应的是3号,从0开始计数的)个相连的那25个值,reshape为5*5大小,用这个5*5大小的特征patch去convolution S2网络中的倒数第3个特征图,假设得到的结果特征图为h1。

      同理,取出网络150-16中输入的倒数第2个部分的节点(为25个),且同时是与隐含层16个节点中的第5个相连的那25个值,reshape为5*5大小,用这个5*5大小的特征patch去convolution S2网络中的倒数第2个特征图,假设得到的结果特征图为h2。

      继续,取出网络150-16中输入的最后1个部分的节点(为25个),且同时是与隐含层16个节点中的第5个相连的那25个值,reshape为5*5大小,用这个5*5大小的特征patch去convolution S2网络中的最后1个特征图,假设得到的结果特征图为h3。

      最后将h1,h2,h3这3个矩阵相加得到新矩阵h,并且对h中每个元素加上一个偏移量b,且通过sigmoid的激发函数,即可得到我们要的特征图H3了。

      终于把想要讲的讲完了,LeNet5后面的结构可以类似的去推理。其实发现用文字去描述这个过程好难,如果是面对面交谈的话,几句话就可以搞定。

      因为在经典的CNN网络结构中(比如这里的LeNet5),是不需要对每层进行pre-traing的。但是在目前的stacked CNN中,为了加快最终网络参数寻优的速度,一般都需要用无监督的方法进行预训练。现在来解决在Deep learning:三十六(关于构建深度卷积SAE网络的一点困惑)中的第1个问题,对应到LeNet5框架中该问题为:pre-training从S2到C3的那个150-16网络权值W时,训练样本从哪里来?

      首先,假设我们总共有m张大图片作为训练样本,则S2中共得到6*m张特征图,其大小都是14*14,而我们对其进行convolution时使用的5*5大小的,且我们输入到该网络是150维的,所以肯定需要对这些数据进行sub-sample。因此我们只需对这6*m张图片进行采样,每6张特征图(S2层的那6张)同时随机采样若干个5*5大小(即它们每个的采样位置是一样的)的patch, 并将其按照顺序res为hape150维,此作为150-16网络的一个训练样本,用同样的方法获取多个样本,共同构成该网络的训练样本。

       这里给出这几天在网上搜的一些资料:

      首先是LeNet5对应的手写字体识别的demo,可以参考其网页:LeNet-5, convolutional neural networks以及该demo对应的paper:LeCun, Y., et al. (1998). "Gradient-based learning applied to document recognition.",这篇paper内容比较多,只需看其中的单个文字识别那部分。paper中关于LeNet5各层网络的详细内容可以参考网页:Deep Learning(深度学习)学习笔记整理系列之(七).

      下面这个是用python写的一个简单版本的LeNet5,用Theano机器学习库实现的:Convolutional Neural Networks (LeNet),懂Python的同学可以看下,比较通俗易懂(不懂Python其实也能看懂个大概)。关于stacked CNN的matlab实现可以参考:https://sites.google.com/site/chumerin/projects/mycnn。里面有源码和界面。

      最后Hition在2012年ImageNet识别时用的算法paper:Imagenet classification with deep convolutional neural networks. 他还给出了对应的code,基于GPU,c++的:https://code.google.com/p/cuda-convnet/

      总结:

      关于Statcked CNN网络pre-training过程中,后续层的训练样本来源已经弄清楚了,但是关于最后对整个网络的fine-tuning过程还不是很明白,里面估计有不少数学公式。

       参考资料:

         Deep learning:三十六(关于构建深度卷积SAE网络的一点困惑)

         Deep learning:十六(deep networks)

         Deep learning:十七(Linear Decoders,Convolution和Pooling)

         Deep Learning(深度学习)学习笔记整理系列之(七)

          Convolutional Neural Networks (LeNet)

         https://sites.google.com/site/chumerin/projects/mycnn.

         Gradient-based learning applied to document recognition.

       Imagenet classification with deep convolutional neural networks.

         Feature extraction using convolution

         Pooling

     

    作者:tornadomeet 出处:http://www.cnblogs.com/tornadomeet 欢迎转载或分享,但请务必声明文章出处。 (新浪微博:tornadomeet,欢迎交流!)
  • 相关阅读:
    希腊字母写法
    The ASP.NET MVC request processing line
    lambda aggregation
    UVA 10763 Foreign Exchange
    UVA 10624 Super Number
    UVA 10041 Vito's Family
    UVA 10340 All in All
    UVA 10026 Shoemaker's Problem
    HDU 3683 Gomoku
    UVA 11210 Chinese Mahjong
  • 原文地址:https://www.cnblogs.com/tornadomeet/p/3061457.html
Copyright © 2011-2022 走看看