1. DNN神经网络的前向传播（FeedForward）
2. DNN神经网络的反向更新（BP）
3. DNN神经网络的正则化
1. 前言
神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力。
随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人（反正就是一票大牛）发明的多层感知机（multilayer perceptron）克服。多层感知机，顾名思义，就是有多个隐含层的感知机。
2. 感知机原理
我之前博文的感知机原理已经详细的介绍了感知机，现在我们进行一个简单的回顾。
先看下人工神经元的结构：
输出是线性的
因为感知机是二分类算法，所以会套一个函数：
在神经网络中，套在线性变换外面的这个函数称作激活函数，激活函数可以是线性的(f(x) = x)，或者是非线性的，例如(sigmoid,tanh,relu)等常用的。
3. 神经网络原理
神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分：
- 结构 （Architecture）
结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。 - 激励函数（Activity Rule） 大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。
- 学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。
神经网络则在感知机的模型上做了扩展，总结下主要有三点：
- 加入了隐藏层，隐藏层可以有多层，增强模型的表达能力，如下图实例，当然增加了这么多隐藏层模型的复杂度也增加了好多。
- 输出层的神经元也可以不止一个输出，可以有多个输出，这样模型可以灵活的应用于分类回归，以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图，输出层现在有4个神经元了。
- 对激活函数做扩展，感知机的激活函数是(sign(z)),虽然简单但是处理能力有限，因此神经网络中一般使用的其他的激活函数，比如我们在逻辑回归里面使用过的(Sigmoid)函数，即：
4. DNN的网络结构
DNN我们可以理解为多隐层的神经网络，此外，它有时也叫多层感知机（Multi-Layer perceptron,MLP），它内部的神经网络层分为三类，输入层，隐藏层和输出层。
层与层之间是全连接的，也就是说，第(i)层的任意一个神经元一定与第(i+1)层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系(z=sum{w_ix_i}+b)加上一个激活函数(a=sigma(z))。
5. DNN前向传播过程
DNN的前向传播算法不算太难。所谓的DNN的前向传播算法也就是利用我们的若干个权重系数矩阵(W),偏倚向量(b)来和输入值向量(x)进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为值。
输入: 总层数(L)，当前层是(l)，当前层隐藏层和输出层对应的矩阵(W^l),偏倚向量(b^l)，输入值向量(a^{l-1})，神经元个数(dim^l)
输出：输出层的输出(a^L)
- 初始化(a^0=input)
- (for;;l=1;;to;;L-1), 计算：
其中每个变量的维度是(W^l=[dim^l,dim^{l-1}])，(a^{l-1}=[dim^{l-1}, batch\_size])，(b^l=[dim^l,1])，(z^l=[dim^l,batch\_size])，(a^l=[dim^l,batch\_size])
- 最后的结果即为输出(a^L)。
6. 总结
我们现在了解了DNN的前向传播的过程，但是我们会有疑问，DNN中如何更新这么多的(W,b)呢，当然还是运用神奇的梯度下降法来更新。在神经网络中运用梯度下降法的过程就是反向更新。