主要列举的网络结构有：
- Inception V1: Going Deeper with Convolutions
- Inception V2: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
- Inception V3: Rethinking the Inception Architecture for Computer Vision
- Inception V4, Inception-ResNet: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
- Xception: Xception: Deep Learning with Depthwise Separable Convolutions
目录
1. Inception V1
1.1 Inception module
- 利用Inception module叠加的形式构造网络；可以近似一个稀疏结构；
- 不同size的卷积核能够增强网络的适应力；
- 即增加了网络的深度，同时增加了网络对尺度的适应性；
- 随着更多的Inception module的叠加，同样也会带来计算成本的增加；
- Network-in-Network在卷积中的表示形式使：(1 imes 1)的卷积；
- (1 imes 1)的卷积能够有效地的降维，在其后使用激活函数，能够提高网络的表达能力；
- 有降维、减少参数量的作用；
- 提高了内部计算资源的利用率；
整个网络结构：
- 中间增加了两个loss，保证更好的收敛，有正则化的作用；
- 在最后一个全链接层前，使用Global average pooling；
2. Inception V2
- 使用Batch Normalization层，即对min-batch内部进行标准化处理，使其输出规范到标准正态分布；
- 利用两个(3 imes 3)的卷积层代替一个(5 imes 5)的卷积层，降低了参数数量；
3. Inception V3
- 卷积分解：将(7 imes 7)的卷积分解成(1 imes 7, 7 imes 1)的两个卷积，(3 imes 3)的卷积也类似分解；可以用于加速计算，同时可以加深网络，也增加了网络的非线性；
- 在整个网络结构中，有三种卷积分解模型，见下图；
- 输入从(224 imes 224)变成了(299 imes 299)；
4. Inception V4, Inception-ResNet
- 将Inception module与Residual Connection结合使用，加速训练，精度更高；