卷积（Convolution）神经网络——图像，语言（具有连续性），视频处理，自然语言处理，药物分析，推荐relu激励函数
循环（Reccurent）神经网络——数据的关联，推荐relu和tanh激励函数
激励函数（activation function 掰弯利器——非线性）——必须是可微分的，这样误差才可反向传播。神经网络有多层时，谨慎选择激励函数——需要考虑（涉及梯度爆炸，梯度消失的问题）
CNN 卷积神经网络 2
tf.truncated_normal的用法
tf.truncated_normal(shape, mean, stddev) :shape表示生成张量的维度，mean是均值，stddev是标准差。这个函数产生正太分布，均值和标准差自己设定。这是一个截断的产生正太分布的函数，就是说产生正太分布的值如果与均值的差值大于两倍的标准差，那就重新生成。和一般的正太分布的产生随机数据比起来，这个函数产生的随机数与均值的差距不会超过两倍的标准差，但是一般的别的函数是可能的。
save保存和读取
tensorflow现在只能保存变量不能保存整个框架，restore的时候还要先把框架搭出来再把restore出来的变量放进去！
1. 参数(parameters)/模型参数
由模型通过学习得到的变量，比如权重
和偏置
2. 超参数(hyperparameters)/算法参数
根据经验进行设定，影响到权重和偏置的大小，比如迭代次数、隐藏层的层数、每层神经元的个数、学习速率等