数值优化（十）

最小二乘方

在最小二乘方问题中，目标函数有如下的形式$$f(x)=frac{1}{2} sum_{j=1}^{m}r2_j(x)$$针对这种特殊的形式，可以采取专门的方法来加速优化。计算其梯度以及Hessian得到$$ abla f(x) = sum_{j=1}^m r_j(x) abla r_j(x) = J(x)^T r(x)$$$$ abla^2 f(x) =J(x)^{TJ(x)+sum_{j=1}}m r_j(x) abla^2 r_j(x)$$其中第二项往往很小，因为在实际问题中，用最小二乘法来确定参数，(r_j)代表预测值与真实值的差，这应该是很小的，又由于解附近的near-linearity性质导致二次导数很小，于是有$$ abla^2 f(x) approx J(x)^TJ(x)$$这一点是经常被利用到的。

Gauss-Newton

Gauss-Newton在Newton法上做了一些改进，Newton法需要通过$$ abla^2 f_k p_k =- abla f_k $$计算出优化方向(p_k)，现在直接把上面得到的估计式代入，得到GN方向(p_k^{GN})满足$$J_k^TJ_kp_k{GN}=-J_k^Tr_k$$由于求梯度的时候就已经计算了(J)，所以第二步完全省略了Hessian矩阵的计算时间，接下来就可以按正常的步骤选择优化步长。

Levenberg-Marquardt

L-M方法就是改进后的信任域方法，仍然是利用二乘方问题独有的Hessian估计，在迭代点求解$$m_k = frac{1}{2}|r_k|^2+pTJ_k^{Tr_k+frac{1}{2}p}TJ_k^TJ_kp quad |p|leq Delta_k$$即$$m_k = frac{1}{2} J_kp+r_k||_2^2 quad |p| leq Delta_k$$

正交距离回归

正交距离回归是在回归问题中不仅考虑到因变量的误差，还考虑到自变量的测量误差而得到的优化问题，目标函数有如下形式$$f(x) = frac{1}{2}sum_{j=1}^m w_j^2 epsilon_j^2 +d^2_j delta_j^2$$其中(d_j)是常数权重并且$$y_j =Phi(x;t_j+delta_j)+epsilon_j$$正交距离回归示意图如下

这个目标函数也可以整理成普通二乘方目标函数的形式


然而规模似乎大了一倍，幸运的是，它的Jacobian有特殊的形式

(hat{J})是(w_j Phi(t_j+delta_j;x))的Jacobian，V，D是对角阵