梯度及梯度下降

　　该文章讲述了梯度下降的一点基础知识，包括多元函数求偏导，函数的驻点、极值点、鞍点，凸函数和梯度下降法。在梯度

下降法中，使用一阶泰勒级数展开式能够证明梯度是下降的。

1、假设有多元函数 F(x) = F(x₁,x₂,...,x_n), $frac{partial F}{partial x}$ :表示函数F分别对每一个自变量x求导。

　举例：二元函数F(x₁,x₂) = (3x₁+4x₂)², 计算F在点(2,3)处的梯度。

　　　F针对x_1、x₂ 的偏导数如下：$frac{partial F}{partial x_1}=18x_1+24x_2$

　　　　　　　　　　　　　　　  $frac{partial F}{partial x_2}=24x_1+32x_2$ 

   　　所以F在(2,3)处的梯度为(18*2+24*3,24*2+32*3) = (108,144), 记为：

　　　$frac{partial F}{partial x_x=(2,3)}=left[frac{108}{144} ight]$

2、导数计算的链式法则：

　　　多个函数和的导数：多个函数和的导数等于多个函数导数的和

　　　　　　假设：F(x)=$sum_iF_i(x)$

　　　　　　则： $frac{partial F}{partial x}=sum_ifrac{F_i}{partial x}$

　　　复合函数的导数：

　　　　　　假设：复合函数f(g(x)),该函数针对自变量x的导数如下：

　　　　　　$frac{partial f}{partial x}=frac{partial f}{partial g}frac{partial g}{partial x}$

3、单变量函数的驻点、极值点、鞍点

　　驻点（stationary point）是指函数f(x)的一阶导数$frac{partial f}{partial x}=0$的点。驻点有可能是（极小值点，极大值点，鞍点）。

　　极小值点的充分必要条件是：函数f(x)在该点的一阶导数为0，为驻点，并且在该点的二阶导数大于0。

　　极大值点的充分必要条件是：函数f(x)在该点的一阶导数为0，为驻点，并且在该点的二阶导数小于0。

　　鞍点：函数f(x)在$x_1$点处的一阶导数和二阶导数都为0。

4、凸函数

　　凸函数的局部极小值点为全局最小值点（即极小值点也是最小值点）

5、梯度下降法：迭代寻找下一个点$x_i+1$，使$f(x_i+1)$<$f(x_i)$。

　　假设：求$min_x(x-1)^2$, 即计算函数f(x)=$(x-1)^2$的最小值点。

　　问题：怎么在初始化$x_1$之后，找到一个$x_2$，使$f(x_2)$<$f(x_1)$呢？

　　　　　　这时就要用到f(x)的一阶泰勒级数展开式。

　　　　　　$f_taylor1(x)=f(x_1)+f(x_1)(x-x_1)$

　　　　　　当x在$x_1$附近很小的邻域时，$f(x)$约等于$f_{taylor_1}(x)$，取$x_2 = x_1 - {eta} f'(x_1)$，令 ${eta}$ 等于一个很小的大于0的数，

　　　　就可以保证$x_1$在$x_1$附近很小的邻域内，所以有：

　　　　　　$f(x_2) simeq f_ {taylor_1} (x_2)=f(x_1)+f'(x_1)(x_2-x_1)$

　　　　　　因为：

　　　　　　　　$f'(x_1)(x_2-x_1)=f'(x_1)(x_1-{eta}f'(x_1)-x_1)=-{eta}(f'(x_1))^2leq0$

　　　　　　所以：

　　　　　　　　$f(x_2) leq f(x_1)$