zoukankan      html  css  js  c++  java
  • Soft-Margin SVM

    考虑这种情况:

    image

    倘若我们使用Hard-Margin SVM,不容许一点点的错误,就会得到右边的结果。很显然,左边的结果更合理,所以在实际情况中,我们使用能够接纳一定错误(容忍噪声)的SVM,即:soft-margin SVM。

    image

    合并两个条件,得:

    image

    这样做有几个问题:

    image

    一是我们的目标函数不再是线性的,所以不能使用QP;第二是我们对大的误差和小的误差一视同仁。

    所以我们将∞更换为ε:

    image

    (这一点也是一个疑问:ε对于每一个数据都不同,甚至也成为一个目标变量。不是很容易理解)

    image

    现在soft-margin SVM的形式已经阐明,如何来解?

    1.根据之前我们在hard-margin SVM中推导过的求解对偶问题的过程,可以得到如下结果,同时还有KKT condition中的primal-innner optimal(complementary slackness)。

    image

    求解:

    image

    image

    image

    image

    这里的问题是b如何求得?根据之前的primal-innner optimal 条件:

    image

    至此,soft-margin SVM的求解过程结束

    之前hard-margin我们将所有的数据点根据α的值,分为支持向量和一般向量。
    现在soft-margin中,α有三种情况,可以分成三类:

    image

    对于高斯核函数,如何选择适当的C和γ?

    可以使用validation。同时也可以使用#SV,因为:

    image

    使用两者进行选择的区别如下:

    imageimage

  • 相关阅读:
    洛谷 P1194 飞扬的小鸟 题解
    洛谷 P1197 星球大战 题解
    洛谷 P1879 玉米田Corn Fields 题解
    洛谷 P2796 Facer的程序 题解
    洛谷 P2398 GCD SUM 题解
    洛谷 P2051 中国象棋 题解
    洛谷 P1472 奶牛家谱 Cow Pedigrees 题解
    洛谷 P1004 方格取数 题解
    洛谷 P2331 最大子矩阵 题解
    洛谷 P1073 最优贸易 题解
  • 原文地址:https://www.cnblogs.com/wangyanphp/p/5504478.html
Copyright © 2011-2022 走看看