1、原始问题
假设$f(x)$，$c_i(x)$，$h_j(x)$是定义在$R^n$上的连续可微函数，$x in R^n$。考虑以下三类优化问题。
1、无约束的优化问题：
egin{align*}
mathop{min}limits_{x in R^n}f(x)
end{align*}
这个只需对函数求导，求极值点即可。
2、如果增加等式约束条件，则变为如下优化问题：
egin{align*}
& mathop{min}limits_{x in R^n}f(x) \
& s.t. quad h_j(x) = 0, quad j = 1,2,3 cdots ,l
end{align*}
该优化问题可通过拉格朗日乘子法解决。定义拉格朗日函数：
egin{align*}
mathcal{L}(x_1,cdots ,x_n,eta_1,cdots ,eta_l) = f(x_1,cdots ,x_n) - sum_{j=1}^{l}eta_jh_j(x_1,cdots ,x_n)
end{align*}
函数$mathcal{L}$的极值点包含原问题的所有极值点。对原问题求解时，我们只需求出$mathcal{L}$的所有极值点，带入$f(x)$一一检验即可。
3、增加不等式约束条件：
egin{align*}
&mathop{min}limits_{x in R^n}f(x) ag{C.1} \
s.t. quad & c_i(x) leq 0, quad i=1,2, cdots , k ag{C.2} \
& h_j(x) = 0, quad j = 1,2,cdots ,l ag{C.3}
end{align*}
下面将讨论对该问题的求解。并将该优化问题称为原始问题（primal problem）。
首先定义广义拉格朗日函数（generalized Lagrange function）：
egin{align*}
mathcal{L} = f(x) + sum_{i=1}^{k}alpha_i c_i(x) + sum_{j=1}^{l}eta_i h_j(x) ag{C.4}
end{align*}
其中，$x in R^n$。$alpha_i$、$eta_i$是拉格朗日乘子并且满足$alpha_i geq 0$。考虑关于$x$的函数：
egin{align*}
heta_P(x) = mathop{max}limits_{alpha geq 0, eta }mathcal{L}(x, alpha , eta ) ag{C.5}
end{align*}
注意，这是一个以$x$为自变量的函数。求解过程是：给定一个$x_0$，求函数$mathcal{L(x_0, alpha, eta)}$的最大值，此时$x_0$是定值（也就是常数），$alpha$、$eta$是自变量。
下标P表示原始（primal）问题。
给定某个$x$，如果$x$违反约束条件，也就是存在某个$i$满足$c_i(x) > 0$，或者存在某个j满足$h_j(x) eq 0$，可以得到以下结论：
egin{align*}
heta_P(x) = [f(x) + sum_{i=1}^{k}alpha_i c_i(x) + sum_{j=1}^{l}eta_j h_j(x)] = +infty ag{C.6}
end{align*}
因为若存在某个$i$满足$c_i(x) > 0$，可取$alpha_i = +infty$，若存在某个j满足$c_j(x) eq 0$，可取$eta_j = = +infty$。其余的$alpha$和$eta$均取0。如此可得$ heta_P(x) = +infty$。
如果$x$满足约束条件，由约束条件(C.3)可知$sum_{j=1}^{l}eta_j h_j(x) = 0$，由约束条件(C.2)和$alpha_i geq 0$可知$sum_{i=1}^{k}alpha_i c_i(x) leq 0$。可以得到：
egin{align*}
heta_P(x) = f(x)
end{align*}
并且此时满足$sum_{i=1}^{k}alpha_i c_i(x) = 0$。再由(C.2)和$alpha_i geq 0$可知，必须满足$alpha_i = 0$或者$c_i(x) = 0$。这是SVM的很多重要性质的来源，如支持向量的概念。
综上所述，
egin{align*}
heta_P(x) = left{egin{matrix}
f(x), quad c_i(x) leq 0 quad and quad h_j(x) = 0 \
+infty , quad c_i(x) > 0 quad or quad h_j(x)
eq 0
end{matrix}
ight. ag{C.7}
end{align*}
所以原问题(C.1)~(C.3)等价于：
egin{align*}
mathop{min}limits_{x} heta_P(x) = mathop{min}limits_{x} mathop{max}limits_{alpha geq 0, eta} mathcal{L}(x,alpha ,eta) ag{C.8}
end{align*}
为了方便，定义原问题的最优值：
egin{align*}
p^* = mathop{min}limits_{x} heta_P(x) ag{C.9}
end{align*}
2、对偶问题
定义关于$alpha$、$eta$的函数
egin{align*}
heta_D(alpha, eta) = mathop{min}limits_{x}mathcal{L}(x,alpha,eta) ag{C.10}
end{align*}
可以得到最优化问题：
egin{align*}
& mathop{max}limits_{alpha,eta} heta_D(alpha,eta) = mathop{max}limits_{alpha,eta}mathop{min}limits_{x}mathcal{L}(x,alpha,eta) ag{C.12} \
& s.t. quad alpha_i geq 0, quad i = 1,2,cdots k ag{C.13}
end{align*}
该问题成为原问题的对偶问题。原问题和对偶问题并不是等价的。
定义对偶问题的最优解为$d^*$，则有$d^* geq p^*$（证明略）。
定理C.2 考虑原始问题（C.1）~（C.3）和对偶问题（C.12）~（C.13）。假设$f(x)和c_i(x)$是凸函数，$h_j(x)$是仿射函数；并且假设不等式约束$c_i(x)$是严格可行的，即存在$x$，对所有$i$有$c_i(x)<0$，则存在$x^*$，$alpha^*$，$eta^*$，使$x^*$是原始问题的解，$alpha^*$，$eta^*$是对偶问题的解，并且：
egin{align*}
p^* = d^* = L(x^*,alpha^*,eta^*) ag{C.20}
end{align*}
定理C.3 对原问题的对偶问题， 假设$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数（一阶多项式，可理解为线性函数），并且不等式约束是严格可行的（即存在$x$，对所有的$i$有$c_i(x) < 0$），则原问题和对偶问题具有相同解的充要条件是最优解$x^*$，$alpha^*$，$eta^*$满足下面的KKT条件：
egin{align*}
&
abla_x mathcal{L}(x^*,alpha^*,eta^*) = 0 \
&
abla_{alpha} mathcal{L}(x^*,alpha^*,eta^*) = 0 \
&
abla_{eta} mathcal{L}(x^*,alpha^*,eta^*) = 0 \
& alpha_i^* c_i(x^*) = 0 \
& c_i(x^*) leq 0 \
& alpha_i^* geq 0 \
& h_j(x^*) = 0
end{align*}
参考文献：
李航：《统计学习方法》 附录C
wikipedia：拉格朗日乘数