此部分内容接02(a)多元无约束优化问题的内容!
第一类:最速下降法(Steepest descent method)
[f({{mathbf{x}}_{k}}+mathbf{delta })approx f({{mathbf{x}}_{k}})+{{ abla }^{T}}f({{mathbf{x}}_{k}})cdot mathbf{delta }]
要使新找到的一点${{mathbf{x}}_{k}}+mathbf{delta }$的函数值小于原来点${{mathbf{x}}_{k}}$的函数值,即:
[f({{mathbf{x}}_{k}}+mathbf{delta })-f({{mathbf{x}}_{k}})={{ abla }^{T}}f({{mathbf{x}}_{k}})cdot mathbf{delta }=left| abla f({{mathbf{x}}_{k}}) ight|cdot left| mathbf{delta } ight|cos heta <0]
其中$ heta $为梯度向量$ abla f({{mathbf{x}}_{k}})$和方向向量$mathbf{delta }$的夹角,由上式可见当$ heta =pi $时$f({{mathbf{x}}_{k}}+mathbf{delta })$
与$f({{mathbf{x}}_{k}})$的差值在满足(8)式的情况下达到最大,即$mathbf{delta }$应取与梯度向量相反的方向$- abla f({{mathbf{x}}_{k}})$。故此时使函数$f(mathbf{x})$在点${{mathbf{x}}_{k}}$下降速度最快的方向为:
${{d}_{k}}=- abla f({{mathbf{x}}_{k}})$。
Step3:通过Step2确定下降方向${{mathbf{d}}_{k}}$之后,$f({{mathbf{x}}_{k}}+{{alpha }_{k}}{{mathbf{d}}_{k}})$可以看成${{alpha }_{k}}$的一维函数,这一步的主要方法有(Dichotomous search, Fibonacci search, Goldensection search, quadratic interpolation method, and cubic interpolation method);所确定一个步长${{alpha }_{k}}>0$,${{mathbf{x}}_{k+1}}={{mathbf{x}}_{k}}+{{alpha }_{k}}{{mathbf{d}}_{k}}$;
Step4: if走一步的距离$left| {{alpha }_{k}}{{mathbf{d}}_{k}} ight|<varepsilon $,则停止并且输出解${{mathbf{x}}_{k+1}}$;else $k:=k+1$并返回Step2,继续迭代。