最优化-使用导数的最优化方法

牛顿法

　需求：知道每个点的一阶导数和二阶倒数(Hessian矩阵)

　　

　　目标:

　　　　若x*是无约束问题的局部解，则x*满足▽f(x) = 0

　　　　▽f(x) 表示多元函数对其中每一元求偏导数组成的向量

　　　　▽f(x) = (∂f/∂x₁, ∂f/∂x₂, ∂f/∂x₃, .......)

　　过程:

　　　　对于多元函数▽f(x)我们在初始点x₁做线性展开得到

　　　　▽f(x) = ▽f(x₁) +  ▽²f(x₁) (x-x₁)

　　　　将▽f(x) = 0 代入

　　　　解出x₂ = (▽f(x) - ▽f(x₁))  * ▽²f(x₁)^-1 + x₁

　　　　x₂即为下一个迭代点， 当迭代到达到精度要求时，结束迭代

　　　　当然，如果知道更高阶的倒数的话，也可以使用泰勒展开做近似，一般应用场景中只使用到二阶导数

 　

　　优点：

　　　　算法具有二次终止性，收敛较快

　　缺点:

　　　　迭代过程中，函数值可能不是严格下降的

　　　　当初始点与正解距离较大时，迭代点列可能不收敛

　　　　要计算Hessian矩阵的逆矩阵，计算量较大

　　　　Hessian矩阵要是不可逆就凉了

修正牛顿法

　需求: 同牛顿法

　　　　

　　目标:

　　　　解决牛顿法中函数值可能上升的问题

　　过程:

　　　　解线性方程组

　　　　

　　　　d为f(x)的收敛方向，为线性近似中的x^k到0点的梯度

　　　　在x_k处，方向d上做精确一维搜索，搜索到的点即为下一个迭代点

　　　　当x_k处导数的范数小于精度要求时，终止迭代

　　优点:

　　　　解决了牛顿法中函数值上升的问题

　　　　对收敛在鞍点的情况有所改善　　　　　　　

　　　　　　

共轭梯度法 

　引入:

　　　　对于正定二次函数，其函数图像是一个超球面

　　　　对于n维超球面，我得出n个正交方向

　　　　沿着这些正交方向做n次精确一维搜索即可得到最优解

　　　　

　　　　对于一般的二次函数

　　　　

　　　　将其做一个变换改变为正定二次函数就能解决问题了

　　　　下面就引入变换 

　　　　

　　　　这样就改造成了正定二次函数

　　　　接下来就是要找在w下的n个正交方向了q

　　　　因为对于这n个正交方向，在一遍的空间中有

　　　　所以

　　　　那么我们将d₁, d₂称作共轭方向(G必须要对称正定)

　　　　可以看到当G = I时，共轭方向就是正交方向

 　　过程

　　　　可以知道，共轭梯度法的过程就是去找n个共轭梯度，然后去做精确一维搜索就好

　　　　令

　　　　进行一维搜索，得到x₂

　　　　令(个人认为，这是为了找到一个离梯度最近的共轭方向，所以才这么做的)

　　　　

　　　　

　　　　每一步这样迭代下去即可

　　　　当▽f(x) <= 精度要求时，终止迭代

　　　　可以看到，在计算梯度时我们还是用了G

　　　　进行一系列化简之后得到下式

　　　　

　　　　　d^k = -▽f(x^k) + β_k-1 * d^k-1

　　　　   β_k-1 = || f(x_k) ||²  / || f(x_k-1) ||² 

　　优点:

　　　　不用二阶导，计算量减小

　　

 　算法的名称

　PRP算法

　　　　　　

　　FR算法

　　　　

 变度量法(大概率不考)

主要思想

　　使用▽f(x)的泰勒展开式去获取Hessin矩阵的近似值

　　▽f(x) = ▽f(x₀) +  ▽²f(x₀) * (x - x₀)

具体算法

　　(很不走心的直接贴书上的图