zoukankan      html  css  js  c++  java
  • Soft-Margin SVM

    考虑这种情况:

    image

    倘若我们使用Hard-Margin SVM,不容许一点点的错误,就会得到右边的结果。很显然,左边的结果更合理,所以在实际情况中,我们使用能够接纳一定错误(容忍噪声)的SVM,即:soft-margin SVM。

    image

    合并两个条件,得:

    image

    这样做有几个问题:

    image

    一是我们的目标函数不再是线性的,所以不能使用QP;第二是我们对大的误差和小的误差一视同仁。

    所以我们将∞更换为ε:

    image

    (这一点也是一个疑问:ε对于每一个数据都不同,甚至也成为一个目标变量。不是很容易理解)

    image

    现在soft-margin SVM的形式已经阐明,如何来解?

    1.根据之前我们在hard-margin SVM中推导过的求解对偶问题的过程,可以得到如下结果,同时还有KKT condition中的primal-innner optimal(complementary slackness)。

    image

    求解:

    image

    image

    image

    image

    这里的问题是b如何求得?根据之前的primal-innner optimal 条件:

    image

    至此,soft-margin SVM的求解过程结束

    之前hard-margin我们将所有的数据点根据α的值,分为支持向量和一般向量。
    现在soft-margin中,α有三种情况,可以分成三类:

    image

    对于高斯核函数,如何选择适当的C和γ?

    可以使用validation。同时也可以使用#SV,因为:

    image

    使用两者进行选择的区别如下:

    imageimage

  • 相关阅读:
    剑指Offer-Python(6-10)
    Python对MySQL进行增删查改
    剑指Offer-Python(1-5)
    转载:Python中collections模块
    读取单词文件并查某个单词出现的次数
    Python正则表达式-换行的匹配
    Python爬虫-换行的匹配
    转载:Pycharm的常用快捷键
    Python 正则表达式
    Python的类与对象
  • 原文地址:https://www.cnblogs.com/wangyanphp/p/5504478.html
Copyright © 2011-2022 走看看