zoukankan      html  css  js  c++  java
  • 机器学习技法笔记(1)

    一、承前启后  &&  kernel method

      这一段话还是很重要的:1、如何处理feature很多很复杂的情况?kernel

                 2、如何将多个feature联系起来使用? boost和blend

                 3、如何学习隐藏的feature? deeplearning

      

        首先还是引出了SVM,为什么需要使用SVM呢,简单的说,因为我们要到hyperplane的距离最大,这样我们能容忍的范围就是最大的,整个算法也是robust的。

        经过一些列的推导整理,大概可以先得到下面这样一个优化的问题:

        

        然后又是各种推导,考虑到scale已经优化方便等情况,得到:

        

        后面讲了一下SVM的二次规划解法,一般不是很常用,在数据少的时候能直接上QP,不过数据量好的解法后面会提到。

        而hard-margin的SVM其实可以理解为在Ein=0的这个限制条件下对W进行优化,正因为增加了限制条件,也就减少了dichotomies,也就减小了VC bound,自然也就增强了算法的泛化能力。

        

        下图是相当重要的,它证明了hard-margin SVM的收敛性:

        

        

  • 相关阅读:
    [LOJ 6436][PKUSC2018] 神仙的游戏
    [BZOJ 2653] middle
    [WC2018] 州区划分
    [BZOJ 4556][Tjoi2016&Heoi2016]字符串
    [BZOJ 3514]Codechef MARCH14 GERALD07加强版 (CHEF AND GRAPH QUERIES)
    [BZOJ 4573][ZJOI 2016]大♂森林
    Problem 2322. -- [BeiJing2011]梦想封印
    [BZOJ 2555] SubString
    [日常] NOIWC2019 冬眠记
    [BZOJ 4036][HAOI2015]按位或
  • 原文地址:https://www.cnblogs.com/daihengchen/p/5917601.html
Copyright © 2011-2022 走看看