首先，考虑标准形式的凸最优化问题：
则其拉格朗日函数为：
其中$lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子,$lambda_i >= 0$，$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。
拉格朗日对偶函数：
下面介绍拉格朗日对偶函数的一个重要性质：
拉格朗日对偶函数构成了原凸最优化问题最优解$p^*$的下界，即对任意的$lambda >= 0$ 和$ u$,我们有：
但是当$g(lambda, v) = -infty$时，其意义不大。只有当$g(lambda, v) > -infty$时，对偶函数才能给出$p^*$的一个非平凡下界，我们称满足$lambda >= 0$ 以及
$(lambda, v)in domg$ 的$(lambda, v)$是对偶可行的。
从Lagrange函数能够得到的最好下界是什么？也即：
上述问题被称为Lagrange对偶问题。前面描述的对偶可行的一组$(lambda, v)$就是对偶问题的一个可行解。如果解$(lambda^*, v^*)$是对偶问题的最优解，则称解
$(lambda^*, v^*)$是对偶最优解或者最优lagrange乘子。
Lagrange对偶问题是一个凸优化问题，因为极大化的目标函数是凹函数，且约束集合是凸集。因此，对偶问题的凸性和原问题是否是凸优化问题无关。
弱对偶性
用$d^*$表示lagrange对偶问题的最优解，由上面的性质可得下面的不等式：
即使原问题不是凸问题上述不等式也成立，这个性质称为弱对偶性。
定义差值$p^* - d^*$是原问题的最优对偶间隙。它给出了原问题最优值以及通过Lagrange对偶函数所能得到的最好（最大）下界之间的差值。最优对偶间隙总是非负的。
但原问题很难求解时，弱对偶不等式可以给出原问题最优值的一个下界，这是因为对偶问题总是凸问题，而且在很多情况下都可以进行有效的求解得到$d^*$
如果 $d^* = p^*$成立，即最优对偶间隙为零，那么强对偶性成立。
如果原问题是凸问题，可以表述为：
使得强对偶性成立的一个简单的约束准则是Slater条件：存在一点x使得下式成立：
满足上述条件称为严格可行，这是因为不等式约束严格成立。
若Slater条件满足，不但对于凸问题强对偶性成立，也意味着当$d^* > -infty$时对偶问题能够取得最优值，即存在一组对偶可行解$(lambda^*, v^*)$，使得
$g(lambda^*, v^*) = d^* = p^*$
互补松弛性 => 强对偶性成立时，可推出KKT的对偶互补条件（不是很懂，先不管）
设原问题和对偶问题的最优值都可以达到且相等（即强对偶性成立）。令$x^*$是原问题的最优解，$(lambda^*, v^*)$是对偶问题的最优解，这表明：
由上面的推导可以得出一个重要的结论：
实际上，求和项的每一项都非正，因此有：
上述条件称为互补松弛性，它对任意原问题最优解$x^*$都成立（当强对偶性成立时）。
http://legend4917.github.io/2015/12/17/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E5%AF%B9%E5%81%B6%E6%80%A7/