【神经网络优化的挑战】
一、病态：
虽然学习率很小，而且梯度大，但是由于Hessian阵的病态，二次项比一次项还要大，梯度下降事实上并不一定能下降，反而有可能上升。因此需要将学习率调低。
表现：梯度很强，但是学习很缓慢，因为曲率太强
二、局部最小值：
由于权重空间对称性，神经网络有很多局部极小值。
是否存在大量代价高的局部极小值，优化算法是否会碰到，都尚未解决。
梯度范数是否能收缩到一个微小的值。
三、鞍点：
鞍点是更加现实的问题！局部最小值是全正，鞍点是有正有负。
牛顿法会陷入鞍点，二阶算法通常难以扩大到大型神经网络。
四、悬崖和梯度爆炸：
常见于循环神经网络，
斜率较大区域，由于几个较大的权重相乘。使得导数巨大，梯度下降会使参数弹射的非常远，之前的优化就成为无用功。
五、梯度爆炸和梯度消失：
常见于循环神经网络或者很深的神经网络。
如果一个矩阵经过多次相乘运算，而其特征值 > 1。最终特征值会趋于无穷，表现出悬崖的特征，即梯度爆炸。如果特征值小于1，会趋于0，显示为梯度消失，不知道向哪个方向移动。
比较好的方式是记录每个梯度值！
六、非精确梯度
梯度估计是一个常见的问题，需要基于采样来估计，采样通常有噪声。
七、局部与全局弱对应
没有全局的优化算法。
主要是在低维度的时候会达不到局部最优。
高维度能够达到，但是路径可能会比较长。
【基本算法】
SGD：
lr需要逐步衰减，一般使用的是线性衰减，
动量：
v = alpha v - epsilon 梯度
theta = theta + v
解决问题1：Hessian矩阵的病态条件
解决问题2：随机梯度的方差
实践中，动量alpha的取值一般为 0.5 , 0.9 , 0.99， 应当随着时间变大。但是扩大动量alpha 没有收缩学习率 epsilon重要。
Nesterov动量
梯度计算时使用参数为 theta + alpha v，也就是提前计算动量的梯度
在批量梯度下降（使用所有样本更新）的表现比动量算法好，但是在随机梯度的情况下并没有改善收敛率
【参数初始化】
权重初始化
需要在不同单元之间破坏对称性、如果连接相同的输入，必须有不同的初始参数。
一般是高斯或者均匀分布，这两种似乎没有很大差别，但没有研究证实。
初始权重方差是重要的。更大的权重可以更好的破坏对称性，避免冗余单元，更好传播信息，但是容易在前向或者反向传播中产生爆炸的值。
优化希望初始权重大，更好的传播信息，正则化希望初始权重更小，
如果计算资源允许，可以将初始数据范围设置为超参数。
偏置初始化
通常可以简单设置为0，以下是例外：
1、偏置作为输出单元，
2、避免初始化引起太大饱和，例如ReLU不设置为0而是0.1
3、一个单元控制其他单元能否参与等式，
【自适应学习率算法】
Adagrad
不同模型参数具有不同的学习率！
缺陷：从训练开始进行累积会导致学习率过早过量减小，更多适用于凸优化！
RMSProp
相比较Adagrad，在非凸设定下效果更好，从梯度累积转变为指数加权的移动平均。
实现指数加权的方式是与动量相近，动量的值一般设成
有效且使用，是经常采用的优化方法。
Adam
一阶矩和二阶矩综合使用，对超参数的选择相当鲁棒，但是需要修改一下建议的学习率。
【二阶算法】
待续