1、引言
主要创新：
1）complementary search techniques
2）new efficient versions of nonlinearities practical for mobile setting
3）new efficient network design
4）a new efficient segmentation decoder
2、相关工作
1）novel handcrafted structures
SqueezeNet、MobileNet、ShuffleNet、CondenseNet、ShiftNet
2）algorithmic neural architecture search
3）quantization
4）knowledge distillation
3、高效的mobile building blocks
1）MobileNet-V1:depth-wise separable convolution
2）MobileNet-V2:linear bottleneck and inverted residual
3）MnasNet:light attention modules based on squeeze and excitation into the bottleneck
MobileNet-V3结合了上述三种思想
4、网络搜索
1）全局网络结构（block-wise）：platform-aware NAS(network architecture search)
2）每层filters的数量（layer-wise）：NetAdapt algorithm
5、网络提升
主要创新：重新设计网络最开始和最后computionally-expensive 的层，介绍了一种新的nonlinearity-h-swish，计算更快且对于量化更加友好。
1）重新设计expensive layers
A）之前的模型一般都将1*1 conv作为最终的layer，以展开到一个更高维的特征空间，这里是先池化再用1*1 conv升维，这样7*7的空间分辨率就变成了1*1的了。
B）Remove the projection and filtering layers in the previous bottleneck layer。
C）之前的模型倾向于使用32个filters的3*3空间卷积来作为初始层，这里引入hard swish非线性，只用16个filters就可以达到相同的准确率。
2）非线性
引入了h-swish(x)作为非线性函数：
3）模型架构
6、实验
