LeNet-5
基本结构
LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。
输入层
输入图像的尺寸统一归一化为32*32。(本层不算LeNet-5的网络结构，传统上，不将输入层视为网络层次结构之一。)
C1层-卷积层
| 项目 | 数值 | 备注 |
|---|---|---|
| 输入图片 | 32*32 | |
| 卷积核大小 | 5*5 | |
| 卷积核种类 | 6 | |
| 输出feature map大小 | 28*28 | |
| 神经元数量 | 28* 28 *6 | |
| 可训练参数 | （5*5+1) * 6 | （每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器） |
| 连接数 | （5 *5+1） *6 * 28 *28=122304 |
S2层-池化层（下采样层）
| 项目 | 数值 | 备注 |
|---|---|---|
| 输入 | 28*28 | |
| 采样区域 | 2*2 | |
| 采样种类 | 6 | |
| 输出feature map大小 | 14*14 | |
| 神经元数量 | 14 * 14 * 6 | |
| 可训练参数 | 2 * 6 |
C3层-卷积层
| 项目 | 数值 | 备注 |
|---|---|---|
| 输入 | S2中所有6个或者几个特征map组合 | |
| 卷积核大小 | 5*5 | |
| 卷积核种类 | 16 | |
| 输出feature map大小 | 10 *10 | 本层的特征map是上一层提取到的特征map的不同组合 |
| 神经元数量 | 28* 28 *6 | |
| 可训练参数 | （5*5+1) * 6 | （每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器） |
| 连接数 | （5 *5+1） *6 * 28 *28=122304 |
C3与S2的连接方式比较特殊，C3的前6个feature map（对应上图第一个红框的6列）与S2层相连的3个feature map相连接（上图第一个红框），后面6个feature map与S2层相连的4个feature map相连接（上图第二个红框），后面3个feature map与S2层部分不相连的4个feature map相连接，最后一个与S2层的所有feature map相连。这种不对称的组合连接的方式有利于提取多种组合特征。
上图对应的参数为 3* 5 * 5+1，一共进行6次卷积得到6个特征图，所以有6* （3 * 5 * 5+1）参数
C3与S2中前3个图相连的卷积结构如下图所示：
S4层-池化层（下采样层）
| 项目 | 数值 | 备注 |
|---|---|---|
| 输入 | 10 * 10 | |
| 采样区域 | 2*2 | |
| 采样种类 | 16 | |
| 输出feature map大小 | 5 * 5 | |
| 神经元数量 | 5 * 5 * 16=400 | |
| 可训练参数 | 16 * （ 2 * 2 +1） * 5 * 5=2000 |
C5层-卷积层
| 项目 | 数值 | 备注 |
|---|---|---|
| 输入 | S4层的全部16个单元特征map | 与s4全相连 |
| 卷积核大小 | 5*5 | |
| 卷积核种类 | 120 | |
| 输出feature map大小 | 1 * 1 | 本层的特征map是上一层提取到的特征map的不同组合 |
| 可训练参数 | 120*（ 16 * 5 * 5 +1）=48120 |
C5层是一个卷积层。由于S4层的16个图的大小为5x5，与卷积核的大小相同，所以卷积后形成的图的大小为1x1。这里形成120个卷积结果。每个都与上一层的16个图相连。所以共有(5x5x16+1)x120 = 48120个参数，同样有48120个连接。
F6层-全连接层
输入：c5 120维向量
Output层-全连接层
Output层也是全连接层，共有10个节点，分别代表数字0到9.
参考：https://blog.csdn.net/chenyuping333/article/details/82177677