《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》,这篇paper提出了空间金字塔池化。
之前学习的RCNN,虽然使用了建议候选区域使得速度大大降低,但是对于超大容量的数据,计算速度还有待提高。对RCNN来说,计算冗余很大一部分来自于:对每一个proposal region提取一次特征,而不同region之间有很多的交集,这就导致很大的计算冗余。因此fast-rcnn提出了,先对图片进行一次总体的特征提取,然后再提取每个proposal region的特征。
说跑题了,回归正题。先说说ssp-net的优点,在ssp-net之前,使用卷积神经网络需要统一图片的输入大小,那我们自己思考一下为什么需要固定输入大小呢?
cnn包括三个部分:卷积池化和全连接。那到底哪一个部分需要固定输入呢?
先说卷积,卷积操作对图片的输入大小要求吗?貌似固定卷积核大小,给定输入图片,卷积核都能进行计算,然后输入特征值,任意大小的图片都可以进行卷积。
再说池化,池化是更加不需要要求输入大小的,池化只需要根据池化大小,进行平均或者最大池化就可以了。
那最后就是全连接喽,分析一下为什么全连接需要固定输入大小。又要拿出之前随笔中的那张图了:
看看全连接是怎么进行计算的,x是输入,根据矩阵运算的规则,不同的输入x对应这不同的w,因此要进行全连接,首先要固定下来输入x。因此罪魁祸首找到了,传统cnn之所以要固定输入,是因为全连接层的存在。原博客地址:http://www.cnblogs.com/smartwhite/p/8601477.html。因此空间金字塔池化层要做的就是卷积层到全连接层的过度,把卷积层不固定的输出,通过空间金字塔池化层,固定下来,作为全连接层的输入。
算法过程:
输入层:一张任意大小的图片
输出层:21维向量
如上图所示,当我们输入一张图片的时候,我们利用不同大小的刻度,对一张图片进行了划分。上面示意图中,利用了三种不同大小的刻度,对一张输入的图片进行了划分,最后总共可以得到16+4+1=21个块,我们即将从这21个块中,每个块提取出一个特征,这样刚好就是我们要提取的21维特征向量。
第一张图片,我们把一张完整的图片,分成了16个块,也就是每个块的大小就是(w/4,h/4);
第二张图片,划分了4个块,每个块的大小就是(w/2,h/2);
第三张图片,把一整张图片作为了一个块,也就是块的大小为(w,h)
空间金字塔最大池化的过程,其实就是从这21个图片块中,分别计算每个块的最大值,从而得到一个输出神经元。最后把一张任意大小的图片转换成了一个固定大小的21维特征(当然你可以设计其它维数的输出,增加金字塔的层数,或者改变划分网格的大小)。上面的三种不同刻度的划分,每一种刻度我们称之为:金字塔的一层,每一个图片块大小我们称之为:windows size了。如果你希望,金字塔的某一层输出n*n个特征,那么你就要用windows size大小为:(w/n,h/n)进行池化了。
当我们有很多层网络的时候,当网络输入的是一张任意大小的图片,这个时候我们可以一直进行卷积、池化,直到网络的倒数几层的时候,也就是我们即将与全连接层连接的时候,就要使用金字塔池化,使得任意大小的特征图都能够转换成固定大小的特征向量,这就是空间金字塔池化的奥义(多尺度特征提取出固定大小的特征向量)。具体的流程图如下:
此处直接复制粘贴原作者,因为是在讲得太清晰了,算法概述的原博客地址:https://blog.csdn.net/hjimce/article/details/50187655