zoukankan      html  css  js  c++  java
  • Coursera台大机器学习技法课程笔记05-Kernel Logistic Regression

          这一节主要讲的是如何将Kernel trick 用到 logistic regression上。

         从另一个角度来看soft-margin SVM,将其与 logistic regression进行对比,发现可将

    SVM看作一个正则化模型:

          

          

         将SVM看作一个regularize model,是为了更好的延伸到其他模型上。

         下面从erro measure的角度来分析二者相似性:

          

         再从binary classfication的角度来比对:做了一个LogReg就相当于做了SVM,那SVM的结果能否用到LogReg上呢?

         

        能否将SVM与LogReg进行融合呢?

       

       先由SVM跑出一个分数,然后引入两个变量将其引入到LogReg:

        

       更具体:

       

       上面得到的是在Z空间的近似解,如果想要得到一个准确解呢?

       回想之前能用kernel trick的关键,是因为w能表示成z的线性组合。那能否推广这个结论呢?

      

       用反证法对这个想法进行了证明:任何 L2-regularized都能被kernelized

       

       将kernel用到logistic regression上:

      

     另一个角度看 logistic regression:

     

          参考:http://www.cnblogs.com/xbf9xbf/p/4633775.html

  • 相关阅读:
    关于shell输出的一些问题
    python一些问题
    excel
    梁先生家书摘录
    使用conda安装requirement.txt指定的依赖包
    Matplotlib 的默认颜色 以及 使用调色盘调整颜色
    各种 Shell 的使用
    将实验数据保存到txt文件中
    机器学习-学习资源
    Gvim 的使用
  • 原文地址:https://www.cnblogs.com/573177885qq/p/4667756.html
Copyright © 2011-2022 走看看