强对偶条件成立(对偶问题和原问题最优解一致)
原问题转化为最小化含最优对偶变量的拉格朗日函数
利用梯度上升法。更新x和对偶变量第一步x最小化,第二步对偶变量更新。
利用了梯度上升法求极大值(梯度下降是求极小值)
梯度用了约束条件的残差有点费解!
对偶分解:
一个f(x)是separable,能分成n个
这n个就可以并行运算了。
为了计算总的残差residual在对偶变量更新那一步需要收集各分量的AiXi。
计算出来对偶变量以后再分发给各个分系统用于更新x (论文第十页)