zoukankan      html  css  js  c++  java
  • Soft-Margin SVM

    考虑这种情况:

    image

    倘若我们使用Hard-Margin SVM,不容许一点点的错误,就会得到右边的结果。很显然,左边的结果更合理,所以在实际情况中,我们使用能够接纳一定错误(容忍噪声)的SVM,即:soft-margin SVM。

    image

    合并两个条件,得:

    image

    这样做有几个问题:

    image

    一是我们的目标函数不再是线性的,所以不能使用QP;第二是我们对大的误差和小的误差一视同仁。

    所以我们将∞更换为ε:

    image

    (这一点也是一个疑问:ε对于每一个数据都不同,甚至也成为一个目标变量。不是很容易理解)

    image

    现在soft-margin SVM的形式已经阐明,如何来解?

    1.根据之前我们在hard-margin SVM中推导过的求解对偶问题的过程,可以得到如下结果,同时还有KKT condition中的primal-innner optimal(complementary slackness)。

    image

    求解:

    image

    image

    image

    image

    这里的问题是b如何求得?根据之前的primal-innner optimal 条件:

    image

    至此,soft-margin SVM的求解过程结束

    之前hard-margin我们将所有的数据点根据α的值,分为支持向量和一般向量。
    现在soft-margin中,α有三种情况,可以分成三类:

    image

    对于高斯核函数,如何选择适当的C和γ?

    可以使用validation。同时也可以使用#SV,因为:

    image

    使用两者进行选择的区别如下:

    imageimage

  • 相关阅读:
    android开发:退出程序(对话框、两次返回键退出)
    【转】将HTML5封装成android应用APK 文件若干方法
    Linux语言修改
    Oracle用户常用数据字典
    成本控制:Oracle 优化器内幕
    [转]oraclemerge用法详解
    Show [SQL*Plus]
    【转】cron
    修改Linux主机名
    表空间删除
  • 原文地址:https://www.cnblogs.com/wangyanphp/p/5504478.html
Copyright © 2011-2022 走看看