机器学习（十四）：深度学习梯度优化算法(SGD SGD-M NAG AdaGrad RMSProp Adam )

1.随机梯度下降算法（Stochastic Gradient Descent, SGD）
2.使用动量的随机梯度下降算法（Stochastic Gradient Descent - Momentum, SGD-M）
3.使用Nesterov动量的随机梯度下降算法（Nesterov Accelerated Gradient, NAG）
4.AdaGrad算法
5.RMSProp算法
6.Adam算法
————————————————