牛顿法

　　从学导数那天开始，就差不多接触到了牛顿法求解零点的精髓，那时局限于一维，且只是从几何上认识到它。

一、主要作用

（1）求零点

（2）优化（求最大最小值）

二、求零点

求f(x)=0.

解：如图，满足近似关系

　　斜率k=f'(x_n)

　　　　x_n+1≈x_n-f(x_n)/k

　　解得：

　　　　x_n+1≈x_n-f(x_n)/f'(x_n)                       ...(1)

三、优化

而对于优化问题，不过是求maxf(x).

解：题目等价于f'(x)=0.

　　根据(1)式，有

　　　　x_n+1≈x_n-f’(x_n)/f‘'(x_n)                     ...(2)

四、另外的证明（对于向量）

（1）求零点

　　展开成一阶泰勒，有

　　

　　令

　　于是

　　又

　

　　得到

（2）优化（求最大最小值）

　　根据二阶泰勒公式

　　对Δx求导，得

　　

　　解得

　　于是，有

　　这里，g(n)是f(n)的一阶导数，H(n)是f(n)的二阶导数。

注：H(n)是正定矩阵

参考文献

（1）http://blog.csdn.net/luoleicn/article/details/6527049

（2）《神经网络与机器学习》