机器学习之梯度下降法

梯度下降法

　既然在变量空间的某一点处，函数沿梯度方向具有最大的变化率，那么在优化目标函数的时候，自然是沿着负梯度方向去减小函数值，以此达到我们的优化目标。

　如何沿着负梯度方向减小函数值呢？既然梯度是偏导数的集合，如下：

　

　同时梯度和偏导数都是向量，那么参考向量运算法则，我们在每个变量轴上减小对应变量值即可，梯度下降法可以描述如下：

　

　

　以上就是梯度下降法的由来，大部分的机器学习任务，都可以利用Gradient Descent来进行优化。