通俗易懂理解卷积
- 图示理解神经网络的卷积
- input： 3 * 5 * 5 (c * h * w)
- pading： 1
- 步长： 2
- 卷积核： 2 * 3 * 3 * 3 ( n * c * k * k )
- output： 2 * 3 * 3 ( c * h * w )
如下图所示： 
深入理解卷积
- 首先需要理解caffe里面的im2col和col2im
- 然后 卷积层 其实和 全连接层 差不多了
理解im2col
- 图示理解im2col
- input： 3 * 4 * 4 ( c * h * w )
- 卷积核： 3 * 3 * 3 ( c * h * w )
- output： ( 3 * 3 * ) * ( 2 * 2 ) ( h * w )
如下图所示：
卷积层的实现
im2col转换前
- input： 1 * c * h * w
- 卷积核： m * c * k * k
- m 个卷积核
- 步长： stride
- 填充： pad
- 扩展： dilation
- output： 1 * m * H * W
- H = ( h + 2 * pad - dilation * ( k - 1 ) ) / stride + 1
- W = ( w + 2 * pad - dilation * ( k - 1 ) ) / stride + 1
im2col转换后
-
input： 1 * ( c * k * k ) * ( H * W )
-
weight： m * (c * k * k)
-
bias： m * 1
-
output： 1 * m * H * W
-
则公式（即前向传播）为：output = input * weight + bias * 全1矩阵 ( 1 * H * W )
-
反向传播和全连接层一样（详细参考全连接层的推导）：
- 梯度传递：bottom_diff = top_diff * weight
- 对w求导：weight_diff = top_diff * bottom + weight_diff(累积梯度)
- 对b求导：bias_diff = top_diff + bias_diff(累积梯度)