zoukankan      html  css  js  c++  java
  • support vector regression与 kernel ridge regression

    前一篇,我们将SVM与logistic regression联系起来,这一次我们将SVM与ridge regression(之前的linear regression)联系起来。

    (一)kernel ridge regression

    之前我们之前在做的是linear regression,现在我们希望在regression中使用kernel trick。

    image

    image

    下面是linear versus kernel:

    image

    至此,kernel ridge regression结束。但是,这里的β与kernel logistic regression中的β存在同样的问题:β大多不是0。具体例子如下:

    image

    (二) support vector regression

    前一篇文章中,有两个思路:1.把SVM与logistic regression混合起来用(先运行SVM,后运行logistic regression);2.将kernel trick加到logistic regression中;

    这一次,我们已经完成了上述思路2:将kernel trick加到ridge regression中;却不打算完成上述的思路1了。

    为什么不完成思路1了呢?一是因为课程中没有讲;二是把SVM与logistic regression混合起来得到的probabilistic SVM,我没有理解这一算法有什么好处

    我们现在希望:将kernel ridge regression中的β变得很sparse。这就要借助QP工具。

    现在错误衡量方式为:

    image

    这种衡量方式得到的nonlinear error,跟SVM的nonlinear error形式上很相似。所以可以使用SVM的求解方法。

    image

    转化为SVM问题:

    image

    image

    image

    image

    image

  • 相关阅读:
    JS 可选链操作符?. 空值合并运算符?? 详解,更精简的安全取值与默认值设置小技巧
    手写一个 Promise
    Leetcode 403 青蛙过河 DP
    Leeetcode 221 最大正方形 DP
    Leetcode 139 单词拆分
    Unity周记: 2021.07.26-08.15
    Unity周记: 2021.07.19-07.25
    Unity周记: 2020.07.12-07.18
    Unity周记: 2020.07.05-07.11
    线性规划
  • 原文地址:https://www.cnblogs.com/wangyanphp/p/5505628.html
Copyright © 2011-2022 走看看