zoukankan      html  css  js  c++  java
  • 机器学习读书笔记第六章支持向量机(2):对偶问题

    1.我们希望通过下式:最小化w的范数来得到最大间隔划分超平面对应的模型,其中w和b是模型参数:

      这里xi和yi都是已知的,约束条件有m个,每一个样本点有一个约束,有m个样本点有m个约束,w是一个变量,w和b是一个向量。

     2.对上式利用拉格朗日乘子法可以得到其对偶问题,即对上式每条约束添加一个拉格朗日乘子,该问题可以写为:

      

      上式中第一项是目标函数,后面是利用拉格朗日乘子法。将上述问题转化为求导数为0(求函数极值)的问题:梯度是数值变化最大的方向

      

     3.拉格朗日乘子法的几何解释:

      

      约束条件是g(x,y)=c,如果将其投影在平面上面那么看到的就是下面画的这张图,虚线是等高线,

       

      在刚接触的时候,约束条件和模型是相切的,垂直于切线的向量是垂直于梯度的,蓝色的向量是在这一点上的梯度,相切要求在同一根直线上。

     4.接下来要求minf(x,y),约束条件是g(x,y)=c,如果要将其写成拉格朗日函数的话, 那么式子就可以写成:

      L(x,y)=f(x,y)+λg(x,y-c)

      那么这个函数取极值的条件是在梯度为0的时候取极值,

       

      

     5.Karush-Kuhn-Tucker最优条件(KKT条件)

      6.进一步简化为对偶问题

        (1)前一步得出的KKT条件中变量太多,为后续引入核函数模型准备,将前一步的梯度计算结果重新代入到拉格朗日函数,就将w和b消除了

        

        最后得到的是:有变量的ai和aj的式子。 

        

        这就变成了原拉格朗日问题的对偶问题,将求解几何问题变成求解凸优化问题,凸优化问题通过KKT条件变成拉格朗日乘子法问题,把偏导数代进去就可以将拉格朗日乘子法变成一个对偶问题。

        现在这里有一个约束,

      

      如果样本点是支持向量的话,那么αiyi不等于0,其他的不是支持向量的样本点的话αi全部等于0。,

      在解出α之后,求出w和b,就可以得到模型:

        

      上述过程是满足KKT条件的,就是要求:

      

      

       7.线性不可分的情况:松弛变量与惩罚函数

        (1):大部分情况都不是线性可分的,线性不可分的时候无法使用前面的数学技巧,但是可以使用添加惩罚函数的解决方法。

        

        (2)

          

  • 相关阅读:
    HDU3085 Nightmare Ⅱ (双向BFS)
    LuoguP2523 [HAOI2011]Problem c(概率DP)
    BZOJ4569 [Scoi2016]萌萌哒(并查集,倍增)
    CF360E Levko and Game(贪心)
    总结-小技巧
    总结-二分
    总结-莫队
    $P1821 [USACO07FEB]银牛派对Silver Cow Party$
    $P2126 Mzc家中的男家丁$
    $P5017 摆渡车$
  • 原文地址:https://www.cnblogs.com/bigdata-stone/p/10348870.html
Copyright © 2011-2022 走看看