全局平均池化与全连接对比

全局平均池化与全连接对比

输出对比

全局平均池化就是把特征图全局平均一下输出一个值，也就是把W*H*D的一个张量变成1*1*D的张量。

常用的平均池化，平均池化会有它的filter size，比如 2 * 2，全局平均池化就没有size，它针对的是整张feature map.

例如：把一个100*100*1000的特征图经过全局平均化得到一个1*1*1000的张量，就可以链接到全连接层。

计算量对比

全连接先把特征图压缩成1列，然后接两层全连接故计算量4*4*4*4

GAP只在gap得到的特征后直接softmax,故计算量4*4

 

感受野、参数量、特征信息对比

1.而且全局平均池化操作，从而使其具有全局的感受野，使得网络低层也能利用全局信息。

2.全连接的目的，因为传统的网络我们的输出都是几个类别的概率，那么全连接层就是高度提纯的特征了，方便交给最后的分类器或者回归。

但是全连接的参数实在是太多了；GAP减少了参数的数量，可以减轻过拟合的发生.

3.FC会导致feature map损失空间位置信息，而GAP则不会.

 (如果在图像的某一位置有高响应，则经过FC之后，根据整个feature并不能分辨出刺激源于左上角还是右下角还是什么其他的地方，而通过GAP就可以，因为其保留了空间位置信息）