深度学习

__author = "buyizhiyou"
__date = "2017-11-23"

'''
早期发展
'''
单层感知机(1958年Frank Rosenblatt):只能处理线性model
多层感知机(MLP):解决异或问题，但怎么训练隐藏层??
BP神经网络(1986):BP算法，解决隐藏层的训练问题，梯度消失???训练难度???
LeNet(Yann LeCun,1998):CNN开山之作

'''
生成模型(Generative model)的进化过程
从八十年代的Self Organizing Map到 Hopfield Network, 再到鼎鼎大名的Boltzmann Machine和Restricted Boltzmann Machine，
直到Hinton塑造的Deep Belief Network。
'''
自组织网络(SOM,Kohonen,1990):一种非监督(unsupervised)的聚类方法
自编码器(AutorEncoder)，稀疏自编码器(Sparse AutoEncoder)：学习一种对数据集的压缩且分布式的表示方法
Hopfield网络(1982,Hopfield):循环神经网络
波尔兹曼机(Boltzmann Machine,Ackley,1985):对Hopfield模型引入了随机机制
受限波尔兹曼机(Hinton,Sejnowski,1986,RBM)：生成式随机神经网络(generative stochastic neural network)
深度置信网络(2006,Hinton,DBN):非监督贪心逐层训练（Layerwise Pre-Training）算法,deep learning
深度波尔兹曼机(Deep Boltzmann Machine,Salakhutdinov and Hinton,2009):深度生成模型的最后一块里程碑

'''
RNN
'''
RNN的出现(90年代)
BPTT算法:解决RNN的训练问题
LSTM(Schmidhuber,1997)：长期依赖,记忆，解决梯度消失


[GPU(高度并行计算),大数据(ImageNet)，新的训练算法(ReLU、Dropout......)]

'''
计算机视觉
'''
图片分类:
alexnet(2012)-->zfnet(2013)-->VGG,GoogLeNet(2014)-->ResNet(2015)
目标检测:
RCNN-->Fast RCNN-->Faster RCNN-->YOLO,SSD
图片语义分割:
FCN(2015)-->SegNet-->DeepLab


生成对抗网络(GAN,Ian GoodFellow,2014):DCGAN网络

'''
语音识别(speech recognition)
'''
混合高斯-隐马尔科夫模型(GMM-HMM)
深度神经网络-隐马尔科夫模型(DNN-HMM)
深度循环神经网络-隐马尔科夫模型(RNN-HMM)
深度卷积神经网络-隐马尔科夫模型(CNN-HMM)
端对端训练:LSTM-CTC,Attention模型

'''
自然语言处理(NLP)
'''
统计语言模型(n-gram,贾里尼克)
神经网络语言模型(Bengio,2003)
循环神经网络语言模型(Mikolov):word2vec(2013)
GRU(Cho,et al.2014)

机器翻译:
encoder-decoder模型
attention模型

'''
强化学习(RL)
'''
马尔克夫决策过程(MDP)
Q-Learning