deep learning效果不好，从哪些方面做改进呢？
得到一个神经网络，检查在training data上的表现，好的话检查在testing data上表现。
testing data上表现不好，不一定是过拟合，要结合training data上表现。
改进方法：dropout可以在测试集上取得较好结果
layer越深很可能发生梯度消失问题
引入
采用
相当于
Maxout可能能学习选择哪种激活函数
原理：
理解为：
（变成relu例子），
（变成别的）
优缺点：
maxout可以train吗：
（可以，选定之后小的项可以看做忽略），就是这样
变成
（就可以gradient descent了）
RMSProp算法核心思想：梯度小的地方步伐大，梯度大的地方步伐小。理论：
momentum理解
（类似于物理世界中，引入惯性，绿色箭头就表示惯性下球应该走的方向）
一般情况下传统梯度下降
，momentum下考虑前一次gradient方向
overfitting后怎么可以提高测试集正确率呢？引入验证集，将训练集分组。或者，regularization（正则化）
----------
dropout：
每次sample丢弃一些参数
注意，每次sample神经元不同
注意，测试时没有dropout，并要根据dropout率修改weight值
dropout好处理解
只有network是linear时成立