Numerical Optimization Line Search
线性搜索简介
数值优化是迭代式的优化方法，从一个初始点x0开始，然后产生一个迭代方向∇d0，在这个方向上选择一个步长α0，下一个点就是x0+α0∗∇d0。
按照这样的方法不停的迭代下去，直到找到最优点。在这个过程中有两步是非常重要的。第一步就是计算出迭代方向∇dk，第二步是在这个方向上选择合适的步长 αk，获得下一个点xk+1。
第一步产生迭代方向 ∇dk 是各种优化方法产生差别的地方，不同的方法有不同的方法生成迭代方向。但是对于不同的迭代方法都有一个最基本的要求，那就是这个方向必须是一个下降方向：∇f(xk)T⋅∇dk<0。其中∇f(xk) 是 xk 的梯度方向。
第二步称为线性搜索。在这个步骤上不同的方法基本都是相同的。在线性搜索方法中有两个比较重要的部分，首先是停止条件，第二个是步长选择算法。之所以要求满足停止条件而不是仅仅要求函数值有下降，是为了确保优化算法能够正常的收敛。
线性搜索问题可以如下形式化：
argminxf(xk+1)=f(xk+α⋅∇x)
s.t.α≥0
终止条件
首先假设当前点 xk 的梯度是 ∇f(xk)，当前的迭代方向是 ∇dk，并且满足 ∇f(xk)T⋅∇dk<0，并且当前的选择的步长为 α0。
Sufficient Descreasement Condition
这个条件也称为Armijo Condition，描述如下：
f(xk+α0∇dk)≤f(xk)+α0⋅ρg(xk)T∇dk
0<ρ<1/2
其中 ρ 是用户指定的参数，一般来说这个参数的数量级大概为1e−3 或者更低。但是仅仅使用这个条件并不能确保优化过程收敛。
但是当这个条件配合backtracking搜索方法的时候可以确保优化过程收敛。
Curvature Condition
∇f(xk+α0∇dk)T∇dk≥δ∇f(xk)T∇dk
s.tρ<δ<1
对于delta的取值一般比较大，比如0.8，0.9等等。这个值越大，对应的搜索越不精确。
Wolfe Condition
Wolfe Condition就是把Sufficient Decreasement Condition和curvature condition合并在一起，表述如下：
f(xk+α0⋅∇dk)≤f(xk)+ρα0f(xk)T∇dk
∇f(xk+α0∇dk)T∇dk≥δ∇f(xk)T∇dk
s.t0<ρ<δ<1
一般来说Wolfe Condition是用于拟牛顿方法。
Strong Wolfe Condition
f(xk+α0⋅∇dk)≤f(xk)+ρα0f(xk)T∇dk
∣∣∇f(xk+1)T∇dk∣∣≤δ∣∣∇f(xk)T∇dk∣∣
s.t0<ρ<δ<1
Goldstein Condition
f(xk+α0∇dk)≤f(xk)+α0⋅ρg(xk)T∇dk
f(xk+α0∇dk)≥f(xk)+α0⋅(1−ρ)g(xk)T∇dk
s.t.0<ρ<1/2
步长选择
这个一般可以使用多种不同的方法来选择，对于我来说还是喜欢用backtracking方法，主要的原因是这个方法比较简单且容易实现。而且可以配合多种不同的终止条件。
backtracking
backtracking基本来说是从某个步长开始，然后不停的缩小步长。知道找到满足终止条件的步长。
function [retval] = backtrack(x0, d0, f, c1, c2)
%line search algorithm based on backtracking to find point satisfy strong wolfe condition
% x0 : current point
% d0 : search direction
% f : function will return value and gradient, [f, g] = f(x);
% 0 < c1 < c2 < 1
[f0, grad] = f(x0);
slope = grad' * d0;
if slope >= 0
error('must be a descent direction')
end
alpha0 = 0;
alphaMax = 1e2;
alpha = 1;
dec = 0.5;
inc = 2.1;
while 1
[current_val, current_grad] = f( x0 + alpha * d0);
factor = 1;
if current_val > ( f0 + alpha * c1 * slope)
factor = dec;
else
current_slope = current_grad' * d0;
if current_slope < c2 * slope
factor = inc;
else
if current_slope > -c2*slope
factor = dec;
else
break;
end
end
end
if alpha < 1e-15
warning('too small step size')
end
if alpha > alphaMax
warning('too large step size')
end
alpha = alpha * factor;
end
retval = alpha;
end
总结
线性搜索的性能对优化问题至关重要，简单且可靠的线性搜索方法可以解决很多的问题。一般来说，Goldstein条件适用于牛顿饭，Wolfe和strong Wolfe条件适用于拟牛顿法