但是一般写程序的时候，我们想直接在test时用 ， 这种表达式。（where
）
因此我们就在训练的时候就直接训练 。 所以训练时，第一个公式修正为
。 即把dropout的输入乘以p 再进行训练，这样得到的训练得到的weight 参数就是
，测试的时候除了不使用dropout外，不需要再做任何rescale。Caffe 和Lasagne 里面的代码就是这样写的。
面试一些题目：
时间复杂度：O(T*n*k*m)
n:元素个数，k:第一步中选取的元素个数，m:每个元素的特征项个数，T:第5步中迭代的次数
batch norm的作用：
全连接层后，激励层前
a）避免训练过程中网络层落入饱和区导致的梯度消失，加快网络训练
b)减少对初始值的依赖
c)实际是一种正则化，减少对dropout的需求
dropout层
a)别让神经元记住太多东西，有一种泛化能力
b)每次关掉一部分感知器，得到一个新的模型，做融合，不听一家之言
防止过拟合：
a)数据扩充(resize 256*256 随机裁剪227*227，水平翻转)
b）dropout
c)正则化 weight_decay
d)early stop
正则化能够解决过拟合
偏差和方差之间的一个tradeoff
5次多项式比2次多项式复杂，正则化是一种控制模型复杂度的一种方法
梯度下降迭代的不动点（梯度为0的点）有三类——极大值，极小值，鞍点
极小值!=最小值
鞍点（saddle point）的数学含义是：目标函数在此点上的梯度（一阶导数）值为 0，但从改点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。
1.梯度下降能找到函数极小值。
2.能找到极小值的原因是负梯度方向是函数值最速下降方向。（泰勒展开）
3.想要用梯度下降找到最小值要求是凸函数。
4.1如果不是凸函数，要么把目标函数近似成凸函数
4.2.或者用一些智能优化算法例如模拟退火，以一定的概率跳出局部极值，但是这些算法都不保证能找到最小值。
对批量梯度下降法和随机梯度下降法的总结：
批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。
随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向，但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。