最优化算法确定迭代步长【线搜索技术】

无约束问题最优化算法框架

(step0:)

输入优化函数，确定迭代起始点x0,容许误差 epsilon；

(step1:)

if 容许误差条件满足，终止迭代；输出当前x值；
else 计算迭代方向dk；迭代步长 alpha_k; // dk必须满足收敛条件；关于迭代步长的计算，就是线搜索技术解决问题
    to step 2;

(step2:)

计算x_{k+1}=x_k+alpha_k*dk;
to step 1;

一、精确线搜索技术

之前介绍的黄金分割法就是一种精确线搜索技术
线搜索-黄金分割法

二、非精确线搜索技术

Armijo准则
算法：
(step0:)

给定beta属于（0，1），sigma 属于（0，0.5），m=0；

(step1:)

对于不等式 f（x_k+beta^{m*dk）<=f(x_k)+sigma*beta}mg_k^Tdk
成立，alpha_k=beta^mk; stop;
不成立，to step 2;

(step2:)

m=m+1;to step 1;

精确搜索和非精确搜索比较

1. 精确搜索所求(alpha) 使得(f(x_{k+1}))在搜索区间取得最小值，
   非精确搜索仅仅使得所求(alpha)满足收敛条件
2. 非精确搜索计算量小的多

参考资料

《最优化方法及其Matlab程序设计》