CNN的层级结构
1、CNN的层级结构包括：
数据输入层/ Input layer
卷积计算层/ CONV layer
ReLU激励层 / ReLU layer
池化层 / Pooling layer
全连接层 / FC layer
Batch Normalization层(可能有)
2、一般 CNN 结构依次为：
INPUT
[[CONVà RELU]*N àPOOL]*M
[FC àRELU]*K
FC
数据输入层/ Input layer
有3种常见的数据处理方式：
1）去均值
2）把输入数据各个维度都中心化到0
3）归一化
幅度归一化到同样的范围
4）PCA/白化
用PCA降维
白化是对数据每个特征轴上的幅度归一化
卷积层
1）涉及概念：
深度(depth) : 顾名思义，它控制输出单元的深度，也就是filter的个数，连接同一块区域的神经元个数。
步幅(stride)：它控制在同一深度的相邻两个隐含单元，与他们相连接的输入区域的距离。如果步幅很小（比如 stride = 1）的话，相邻隐含单元的输入区域的重叠部分会很多; 步幅很大则重叠区域变少。
补零(zero-padding) ： 我们可以通过在输入单元周围补零来改变输入单元整体大小，从而控制输出单元的空间大小。
2）参数共享机制
- 每个卷积核连接数据窗的权重是固定的，这样需要估算的权重个数减少
- 可以把卷积核看做模板，每个卷积核只关注一个特性
- 一组固定的权重和不同窗口内数据做内积: 卷积
激励层
激励层的作用是把卷积层输出结果做非线性映射
实际经验
① CNN尽量不要用sigmoid
② 首先试RELU，因为快，但要小心点
③ 如果2失效，请用Leaky ReLU
④ 某些情况下tanh倒是有不错的结果，但是很少
池化层
夹在连续的卷积层中间
压缩数据和参数的量，减小过拟合
类别:
Max pooling
average pooling
全连接层
两层之间所有神经元都有权重连接
通常全连接层在卷积神经网络尾部
批规范化（Batch normalization）
批规范化（Batch normalization）是深度学习中经常见到的一种训练trick，指在采用梯度下降法训练DNN时，对网络层中每个mini-batch的数据进行归一化，使其均值变为0，方差变为1，其主要作用是缓解DNN训练中的梯度消失/爆炸现象，加快模型的训练速度。