总览：
本章所讲的知识点包括》》》》
1、描述卷积操作 2、解释使用卷积的原因 3、描述pooling操作 4、卷积在实践应用中的变化形式
5、卷积如何适应输入数据 6、CNN对DL的影响
本章未包含的知识点有》》》》
在实际应用中如何选取CNN架构
本章的目的是阐述CNN提供的处理数据的方法。在第11章将会对怎样使用这些方法做说明。
9.1 卷积操作
问题：
1、与信号系统或者数学中的卷积有何区别？
2、如何用代码实现
注意：CNN包括的计算不仅仅只有卷积计算，还包括pooling、激活函数处理等等。
那么单纯的卷积是怎样的？它与一般意义的卷积有何区别？有什么作用？
一维连续的卷积形式：
表示方式：
表述的意义：信号x在t时刻，对之前的信号进行w函数形式的使用，即通过对不同时刻的加权，预测当前的状态。
一维离散的卷积形式：
以上，变量a的取值范围有不同条件下的约束，其约束条件由实际而定。
二维离散的卷积形式：
根据卷积可交换性，变成：
在CNN中，卷积操作的表述形式：
这种形式被大多数的CNN库所采用，其实应该称为cross-correlation 即互相关，与一般意义上的卷积比较：
1、没有了翻转。“-"号有翻转的作用。 2、较翻转的“原始卷积”操作，互相关得到的结果也是翻转过来的。
卷积操作示意图：
如何用代码实现简单的卷积操作，见连接：
9.2 卷积特点
1、sparse interactions 2、parameter sharing 3、equivariant respections
sparse interactions————》》如下是效果图，与全连接网络对比。蓝色框中是全连接神经网络，红色框是卷积网络。
卷积相对于全连接是稀疏的。优势：1、参数更少 2、内存需求降低 3、计算量降低。那么效果比较呢？
时间复杂度：全连接》》O(m*n) 卷积》》O(k*n) m为输入层节点数，n为输出节点数，k为卷积核大小。
上图是多层结构的联系图，可知通过增加网络层数，保留全局的特征。而全连接的优势也是为了得到特征，CNN有同样提取效果的功能。
parameter sharing————》》下图第二图，红色框是卷积核，使用同样的卷积核对输入做卷积，即为权值共享。
第一图是权值共享与全连接权值的比较。
优势：同样是减少了参数量。一个卷积核，目的是为了得到一种特征。使用多个卷积核，可产生多个特征。
equivariant respections——————》》当输入图像通过平移后，卷积的结果也会平移。
如上所示：在lenet手写数字识别中，数字7从右向左平移，对应红色框里的layer-1也进行了平移。
同时注意：单就卷积操作而言，这种等变换在缩放、旋转上是不成立的。
对比：整个CNN操作（包括卷积层以及后面的层），主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。
9.3 Pooling
典型的CNN包含3个阶段：如下图的右边部分所示》》》
阶段一》》 卷积操作 阶段二》》Detector，此处经过非线性处理 阶段三》》pooling
下图左边部分是CNN中总体结构。
Pooling》》1、max pooling 对一定范围的邻域取最大值，其效果是可以允许输入有一定的波动。
上图右图： 使用3个卷积核对输入处理，能对三种输入做出不同的匹配。输入一个数字，得到激活，使用pooling能够适应输入波动。
2、均值Pooling
3、L2正则
并且在第20.10.6中有更复杂的方法。对正则会在近期总结。
9.4 Infinitely strong prior
讲述卷积和Pooling与先验条件的联系。
卷积的先验是：特征层学到的内容是局部的并且是可以进行一定的移动的。
pooling的先验是：pooling操作适应输入的小变化，有不变性。
weak prior 拥有高熵值，比如高斯分布，这种先验对参数进行约束。
strong prior 拥有低熵值，对参数调节的终止调节进行约束。
卷积是全连接的最大先验，因为将卷积核与全连接比较，除卷积核部分外，其他部分的参数均为0.
意义：
卷积和Pooling导致underfitting。因为他们只有当实际情况与先验假设吻合时，才有作用。
比如：假设一个实际任务当中，结果依赖与特征的具体位置，此时如果对所有的特征进行pooling操作，则会导致较高的训练错误率。而解决此问题的方法便是：在某些通道使用pooling，而其他通道不使用，从而结果有一定的invariant feature以及不会underfit。
9.5 卷积的基本变化形式
参考：
《Deep Learning》Ian Goodfellow,Yoshua Bengio,AND Aaron Courville
《Gradient-Based Learning Applied to Document Recognition》YANN LECUN, MEMBER, IEEE, LEON BOTTOU, YOSHUA BENGIO, AND PATRICK HAFFNER
http://yann.lecun.com/exdb/lenet/index.html