一个新的激活函数——Relu
Relu函数作为激活函数，有下面几大优势：
- 速度快 和sigmoid函数需要计算指数和倒数相比，relu函数其实就是一个max(0,x)，计算代价小很多。
- 减轻梯度消失问题
- 稀疏性。有论文声称人工神经网络在15%-30%的激活率时是比较理想的。因为relu函数在输入小于0时是完全不激活的，因此可以获得一个更低的激活率。
全连接网络 VS 卷积网络
全连接神经网络之所以不太适合图像识别任务，主要有以下几个方面的问题：
- 参数数量太多
- 没有利用像素之间的位置信息。努力学习大量并不重要的权重，这样的学习必将是非常低效的。
- 网络层数限制
卷积神经网络
- 局部连接，每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连。这样就减少了很多参数。
- 权值共享
- 下采样
我们把卷积神经网络中的『卷积』操作叫做互相关(cross-correlation)操作。
卷积神经网络的训练
利用链式求导计算损失函数对每个权重的偏导数（梯度），然后根据梯度下降公式更新权重。训练算法依然是反向传播算法。
步骤：
