神经网络发展阶段
卷积神经网络CNN
卷积神经网络(Convolutional Neural Network, CNN)是近年发展起来，并广泛应用于图像处理和图像识别等领域的一种多层神经网络。
传统BP网络存在的问题：
1. 权值太多，计算量太大
2. 权值太多，需要大量样本进行训练
卷积神经网络(CNN)的强大之处在于通过感受野和权值共享减少了神经网络需要训练的参数个数。
简单来说，卷积核的大小一般小于输入图像的大小（如果等于则是全连接），因此卷积提取出的特征会更多地关注局部 —— 这很符合日常我们接触到的图像处理。而每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。
参数共享最大的作用莫过于很大限度地减少运算量了。
CNN起初存在的问题：
1. 边缘过度不平滑
2. 滤波器(卷积核)太单一
使用不同的卷积核可以提出图片不同的特征
这里推荐LeNET-5：http://yann.lecun.com/exdb/lenet/index.html
一般我们都不会只用一个卷积核对输入图像进行过滤，因为一个核的参数是固定的，其提取的特征也会单一化。这就有点像是我们平时如何客观看待事物，必须要从多个角度分析事物，这样才能尽可能地避免对该事物产生偏见。我们也需要多个卷积核对输入图像进行卷积。
ImageNet
ImageNet是一个计算机视觉系统识别项目，是目前世界上图像识别最大的数据库。一共有1500万张左右的图片，被分为22000个左右的类。是由斯坦福教授李飞飞领导建立的。
ImageNet Challenge
层数越高，提取到的特征就越全局化，效果越好。