1.梯度迭代
a>0时,负梯度方向,是函数值下降方向

1.1梯度下降法
当接近极小值时,梯度接近0,通用形式如下,有一些具体实现:

1)最速下降法
梯度下降的一种具体实现,理念是在每次迭代时,选择最佳合适的步长ak,使得目标函数值最大程度的减少。
![]()
流程:初始迭代点出发,沿负梯度方向开展前面说的一维搜索,找到最优步长a,从而确定新的迭代出发点,不断这样,直至收敛(实际小于某些阀值即可)。
可以发现,最速下降法的相邻搜索方向,是正交的,证明:8.1。

2)二次型中的使用


则:

二次型中最佳步长解析式:

瑞丽不等式:

