梯度下降算法的原理及实现。
一.梯度下降的算法方程式为：
二.方程式详解：
参数：
1.：
：表示网络中需要训练的参数。
2.
：表示学习率。
3.
：表示图像中一点的斜率。
含义：
假设一个二次函数，初始位置在曲线上蓝色点，
如果学习率α设置过大，则θ的每一次更新幅值将会很大。如此，若蓝点已非常接近最低点，则下一次参数更新的更新则会偏离最低点。
如果学习率α设置过小，则θ的每一次更新幅值将会很小。如此，将会增加参数训练的成本。
在确定学习率α以后，随着蓝点的移动，蓝点在曲线上每一点处 的斜率会发生变化，向下则变小，向上则变大。所以，随着蓝点越来越接近最低点，斜率变小，θ的更新幅值也会越来越小。