深度学习

深度学习：

 

1.何为深度学习（概念）：

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。[wiki]

 

2.何为深度神经网络：

深度神经网络指含多个隐层的神经网络及其学习算法，其隐层可表示输入的不同抽象程度的特征，对人工智能发展起了里程碑式的作用。

 

3.深度神经网络训练中的dropout函数的作用：

dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout可以有效解决过拟合问题。

 

4.卷积神经网络（CNN）：

卷积神经网络（convolutional neural networks，CNN）由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更优的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要估计的参数更少，使之成为一种颇具吸引力的深度学习结构。

 

5.递归神经网络（RNN）：

递归神经网络（RNN）是两种人工神经网络的总称。一种是时间递归神经网络（recurrent neural network），另一种是结构递归神经网络（recursive neural network）。时间递归神经网络的神经元间连接构成矩阵，而结构递归神经网络利用相似的神经网络结构递归构造更为复杂的深度网络。RNN一般指代时间递归神经网络。

 

6.卷积神经网络（CNN）和递归神经网络（RNN）的区别和特点：

“CNN是空间上的深度网络，RNN是时间上的深度网络。”

卷积神经网络关键就在于”卷积”二字, 卷积是指神经网络对输入的特征提取的方法不同。在通信中, 卷积是对输入信号经过持续的转换, 持续输出另一组信号的过程。

RNN则像人类大脑一样，基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义，RNN是包含循环的网络，允许信息的持久化。

 

 

 

【Reference】

[1] Wiki：深度学习

 

[2] 理解神经网络中的Dropout