zoukankan      html  css  js  c++  java
  • SVM参数寻优:grid search

    grid search和穷举法比较类似。就是找到所有的组合一一实验。cross validation就比如五层交叉验证,每次拿样本的1/5测试,其他都拿去训练。循环五次之后求平均值。bestcg就是通过grid search找到最小cross validation误差的那一组cg.

    使用svm,无论是libsvm还是svmlight,都需要对参数进行设置。以RBF核为例,在《A Practical Guide to Support Vector Classi cation》一文中作者提到在RBF核中有2个参数:C和g。对于一个给定的问题,我们事先不知道C和g取多少最优,因此我们要进行模型选择(参数搜索)。这样做的目标是找到好的(C, g)参数对,使得分类器能够精确地预测未知的数据,比如测试集。需要注意的是在在训练集上追求高精确度可能是没用的(意指泛化能力)。根据前一部分所说的,衡量泛化能力要用到交叉验证。
    在文章中作者推荐使用“网格搜索”来寻找最优的C和g。所谓的网格搜索就是尝试各种可能的(C, g)对值,然后进行交叉验证,找出使交叉验证精确度最高的(C, g)对。“网格搜索”的方法很直观但是看起来有些原始。事实上有许多高级的算法,比如可以使用一些近似算法或启发式的搜索来降低复杂度。但是我们倾向于使用“网格搜索”这一简单的方法。

    英语论文表达:

    To choose parameters of the model, this paper adopted the method of cross validation based on grid search, avoiding the arbitrary and capricious behav 

    To acquire accuracy and stability, we apply 10-fold cross validation and a grid-search technique to 

    The selection of the kernel parameters in SVM is a long-standing question. Empirically, cross-validation with grid-search is the most popular method 

    Based on the validation set, the best pair of parameters is grid-searched in the range of [2 −2 ,2 2 ] and [θ 0 ,θ 1 ], respectively, for γ and θ.

    C and the kernel width parameter γ were optimized using a grid search approach.

     
  • 相关阅读:
    c#Enum的用法
    毕业一年小结
    Js正则表达式学习之test和compile的简单介绍
    kiss框架学习
    我对我自己的认识
    支付宝接入原理
    datarow用linq查询
    asp.net 下载任意格式文件 上传文件后台代码
    hash
    深入了解Erlang 垃圾回收机制以及其重要性(转)
  • 原文地址:https://www.cnblogs.com/ycjing/p/5331936.html
Copyright © 2011-2022 走看看