梯度下降法是一个最优化算法，通常也称为最速下降法。
最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。
最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。
可以用于求解非线性方程组。
举一个非常简单的例子，如求函数
f(x) = x^2 的最小值。
利用梯度下降的方法解题步骤如下：
1、求梯度，
▽ = 2x
2、向梯度相反的方向移动
，如下x = x - v·▽，其中，
v
为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。
当x=1的时候，斜率是2，x = 1-0.001×2 = 1-0.002 = 0.998，逐渐接近0
当x=1的时候，斜率是-2，x = -1+0.001×2 = -1+0.002 = -0.998，逐渐接近0
3、循环迭代步骤2，直到x的值变化到使得
f(x) 在两次迭代之间的差值足够小，比如0.00000001，也就是说，直到两次迭代计算出来的
f(x)基本没有变化，则说明此时
f(x)已经达到局部最小值了。
4、此时，输出x，这个
就是使得函数
f(x)
最小时的x的取值 。