zoukankan      html  css  js  c++  java
  • SVM算法阅读笔记

    硬间隔部分

    假定在输入数据集构成的高维空间中,存在一个超平面能够将所有标记的样本分为两类。我们想做的就是求得一个超平面,使得它到最近的数据点的集合距离最大化。即有

    鉴于几何距离直接受w向量的二阶范数影响,问题进行等价归一化后有

    这便是一个原始的凸优化问题。解出了w和b,也就得到了超平面,进而训练好的判断模型也有了。可以证明,只要数据线性可分,那么这样的最优超平面就是存在且唯一的。

    直接求w,b不好求,因此我们求解这个凸优化问题的对偶问题。在转化为对偶问题的过程中,需要使用拉格朗日函数及拉格朗日对偶性。为了实现保证对偶问题与原问题有相同解,需要满足KKT条件。详见博客:https://www.cnblogs.com/90zeng/p/Lagrange_duality.html

    对偶问题如下:

    求解出对偶问题,也就得到了参数alpha。可以使用alpha进行如下计算

    进而解出超平面。

    KKT条件保证了对偶问题与原问题的等价性,对于这里的问题,可以写成如下形式

    概括来说,KKT条件包含两部分,一个是拉格朗日函数对各个变量的偏导数应该为0,另一个是应满足一些之前的约束条件,如alpha >= 0。

    求解对偶问题的个人推导如下:

  • 相关阅读:
    【移动安全高级篇】————2、浅谈Android软件安全自动化审计
    【移动安全实战篇】————1、Android手机下xx.apk JAVA破解之旅
    【移动安全高级篇】————1、Android沙盘原理与实现
    CLR
    反射
    泛型
    面试
    Sqlite
    粒子
    地图
  • 原文地址:https://www.cnblogs.com/plank/p/8568652.html
Copyright © 2011-2022 走看看