下面我们抛开1中的问题。介绍拉格朗日对偶。这一篇中的东西都是一些结论，没有证明。
假设我们有这样的问题：$min_{w}$ $f(w)$，使得满足:(1)$g_{i}(w)leq 0,1leq i leq k$,(2)$h_{i}(w)= 0,1leq i leq l$
我们定义$L(w,alpha ,eta )=f(w)+sum_{i=1}^{k}alpha_{i}g_{i}(w)+sum_{i=1}^{l}eta_{i}h_{i}(w)$，其中$alpha,eta$被称作拉格朗日因子
第一部分：
设$ heta _{p}(w)=max_{alpha,eta:alphageq 0}L(w,alpha ,eta )$,可以证明当$ heta $满足问题描述中的两个条件时，我们有$ heta _{p}(w)=f(w)$,否则$ heta _{p}(w)=+oo$
然后我们定义$p^{*}=underset{w}{min} heta_{p}(w)=underset{w}{min} underset{alpha,eta:alphageq 0}{max}L(w,alpha,eta)$,那么$p^{*}$就是原问题的解。
第二部分：
设$ heta_{D}(alpha,eta)=underset{w}{min}L(w,alpha,eta)$
$d^{*}=underset{alpha,eta:alphageq 0}{max} heta_{D}(alpha,eta)=underset{alpha,eta:alphageq 0}{max} underset{w}{min}L(w,alpha,eta)$
总有$d^{*}leq p^{*}$成立。当函数$g$和函数$f$是凸函数，$h$是线性函数时，等号成立。设取得等号成立时，各参数的值为$w^{*},alpha^{*},eta^{*}$,那么，有下面的式子成立：
（1）$frac{partial }{partial w_{i}}L(w^{*},alpha^{*},eta^{*})=0,1leq i leq n$
（2）$frac{partial }{partial eta_{i}}L(w^{*},alpha^{*},eta^{*})=0,1leq i leq l$
（3）$alpha^{*}g_{i}(w^{*})=0,1leq i leq k$
（4）$g_{i}(w^{*}) leq 0,1leq i leq k$
（5）$alpha^{*} geq 0,1leq i leq k$