参考文献：《Tensorflow：实战Google深度学习框架》
【一】深度学习简介
1.1 深度学习定义
Mitchell对机器学习的定义：任务T上，随着经验E的增加，效果P也可以随之增加，那么程序可以在经验中学习。
传统机器学习算法的问题：无法从数据中习得更好的特征表达，从而无法有效的利用越来越多的数据
难点：如何数字化的表达现实世界中的实体；将非结构化的内容结构化；从实体中提取特征。
传统机器学习与深度学习的对比
1.2 深度学习历史
深度学习三阶段：
一、仿生机器学习：
1943年神经网络，
1958年感知机模型：首个根据数据学习特征权重的模型
1969：感知机只能解决线性可分问题，不能解决异或问题。 ——导致了神经网络的第一次低潮
二、分布式知识表达（distributed representation）和反向传播算法。
1990：分布式知识表达：现实世界中的概念应该通过多个神经元来表达，模型中每个神经元应该表达不同概念。
知识从宽度向深度发展，能够习得另外的组合知识。n*m个缩减到n+m个。
1990：Rumelhart Hinton Williams 反向传播算法，计算能力大幅提高。
卷积神经网络、循环神经网络在发展
1990： Hochreiter Schmidhuber LSTM算法
三、数据量提升 计算能力提高
ImageNet， Krizhevsky AlexNet，引入深度学习。
1.3 深度学习应用
主要应用范围：
1、计算机视觉：图像分类 (ILSVRC)、物体识别（人脸识别：传统机器学习很难抽取特征）、图像搜索、字符识别
2、语音识别：机器翻译、语音合成
3、自然语言处理：
4、人机博弈：
AlphaGo的三部分：蒙特卡洛树搜索、估值网络、走棋网络。
蒙特卡洛树搜索：对不同落子点进行搜索
走棋网络：给定棋盘，判断下一步落子点
估值网络：给定棋盘，判断胜率