LIBSVM (四) SVM 的参数优化（交叉验证）

　　CV是用来验证分类器性能的一种统计分析方法，其基本思想是在某种意义下将原始数据进行分组，一部分作为测试集，另一部分作为验证集；先用训练集对分类器进行训练，再利用验证集来测试训练得到的模型，以得到的分类准确率作为评价分类器的性能指标。常见的 CV 方法如下：

1.1 交叉验证(Cross Validation,CV)

　　伪代码：

Start 
    bestAccuracy = 0;
    bestc = 0;
    bestg = 0;
    % 其中n1,n2都是预先给定的数
    for c = 2^(-n1):2(n1)
        for g = 2^(-n2):2^(n2)
                将训练集平均分成 N 部分，设为
train（1），train（2），···，train（N）
                分别让每一个部分作为测试及进行预测（剩下的N-1部分作为训练集对训练集进行训练），取得最后
                得到的所有分类准确率的平均数，设为 cv.
                if(cv > bestAccuracy)
                    bestAccuracy = cv;bestc = c;bestg = g;
                end
            end
end
Over

 　　采用CV的方法，在没有测试标签的情况下可以找到一定意义下的最佳参数c和g。这里所说的“一定意义下”指的是此时最佳参数c和g是使得训练集在CV思想下能够达到最高分类准确率的参数，但不能保证会使得测试集也达到最高的分类准确率。用此方法对wine数据进行分类预测，MATLAB 实现代码如下：

%% 交叉验证
bestcv = 0;
bestc = 0;
bestg = 0;
for log2c = -5:5
    for log2g = -5:5
        cmd =['-v 3 -c ',num2str(2^log2c), ' -g ',num2str(2^log2g)];
        cv = svmtrain(train_wine_labels,train_wine,cmd);
        if(cv > bestcv)
        bestcv = cv;
        bestc = 2^log2c;
        bestg = 2^log2g;
        end
    end
end

fprintf('(best c = %g,g = %g,rate = %g)
',bestc,bestg,bestcv);
cmd = ['-c ',num2str(bestc),' -g ',num2str(bestg)];
model = svmtrain(train_wine_labels,train_wine,cmd);
[predict_label,accuracy,dec_value]=svmpredict(test_wine_labels,test_wine,model);

 (best c = 2,g = 0.5,rate = 98.8764)

Accuracy = 98.8764% (88/89) (classification)

1.2  K-CV 算法（K - fold Cross Validation ）

 　　将原始数据分成K组（一般是均分），将每个子集数据分别做一次验证集，其余的 K-1 组子集数据作为训练集，这样会得到 K 个模型，用这 K 个模型最终的验证集的分类准确率的平均值作为此 K-CV 下分类器的性能指标。K>=2，一般实际操作是取K=3，只有在原始数据集合数据量小的时候才会尝试取 2。K - CV 可以有效地避免过学习以及欠学习状态的发生，最后得到的结果也比较具有说服性。

　　这节主要涉及到函数 SVMcgForClass 的理解，以及使用技巧

1.2.1 SVMcgForClass

 　　伪代码：

Start 
    bestAccuracy = 0;
    bestc = 0;
    bestg = 0;
    % 将 c 和 g 划分网格进行搜索
    for c = 2^(-n1):2(n1)
        for g = 2^(-n2):2^(n2)
               %利用 K-CV 方法
将train平均分成 K 组，
记train（1），train（2），···，train（K）
相应的标签也要分离出来，
记为 train_label(1)，train_label(2)，···，train_label(k)，
            for  run = 1:k  %让train（run）,作为验证集，其他作为训练集，记录此时acc(run)
            end
            cv = (acc(1)+acc(2)+```+acc(K))/k;
            if(cv > bestAccuracy)
                bestAccuracy = cv;bestc = c;bestg = g;
            end
        end
end
Over

函数接口及输入参数解析

[bestacc,bestc,bestg]=SVMcgForClass(train_label,train,cmin,cmax,gmin,gmax,v,cstep,gstep,accstep)
train_label :训练集标签
train：训练集
cmin:惩罚参数c的变化范围（以2为底的幂指数后），即c_min=2……（cmin）,默认值为-5;
cmax:惩罚参数c的变化范围（以2为底的幂指数后），即c_max=2……（cmax）,默认值为5;
gmin:参数g的变化范围最小值（以2为底的幂指数后），即g_min=2……（gmin）,默认值为-5;
gmax:参数g的变化范围最大值（以2为底的幂指数后），即g_max=2……（gmax）,默认值为5;
v:CV的参数，即给测试集分几部分进行CV。默认值为3.
cstep:参数c步进的大小（取以2为底的幂指数后），默认值为1.
gstep:参数g步进的大小（取以2为底的幂指数后），默认值为1.
accstep:最后显示准确率图时的步进大小

 以上参数只有train_label和train是必须输入的，其他的可不输入采用默认值。

1.2.2 代码实现

% about the parameters of SVMcg 
if nargin < 10
    accstep = 4.5;
end
if nargin < 8
    cstep = 0.8;
    gstep = 0.8;
end
if nargin < 7
    v = 5;
end
if nargin < 5
    gmax = 8;
    gmin = -8;
end
if nargin < 3
    cmax = 8;
    cmin = -8;
end
% X:c Y:g cg:CVaccuracy
[X,Y] = meshgrid(cmin:cstep:cmax,gmin:gstep:gmax);
[m,n] = size(X);
cg = zeros(m,n);

eps = 10^(-4);

% record acc with different c & g,and find the bestacc with the smallest c
bestc = 1;
bestg = 0.1;
bestacc = 0;
basenum = 2;
for i = 1:m
    for j = 1:n
        cmd = ['-v ',num2str(v),' -c ',num2str( basenum^X(i,j) ),' -g ',num2str( basenum^Y(i,j) )];
        cg(i,j) = svmtrain(train_label, train, cmd);
        
        if cg(i,j) <= 55
            continue;
        end
        
        if cg(i,j) > bestacc
            bestacc = cg(i,j);
            bestc = basenum^X(i,j);
            bestg = basenum^Y(i,j);
        end        
        
        if abs( cg(i,j)-bestacc )<=eps && bestc > basenum^X(i,j) 
            bestacc = cg(i,j);
            bestc = basenum^X(i,j);
            bestg = basenum^Y(i,j);
        end        
        
    end
end
% to draw the acc with different c & g
figure;
[C,h] = contour(X,Y,cg,70:accstep:100);
clabel(C,h,'Color','r');
xlabel('log2c','FontSize',12);
ylabel('log2g','FontSize',12);
firstline = 'SVC参数选择结果图(等高线图)[GridSearchMethod]'; 
secondline = ['Best c=',num2str(bestc),' g=',num2str(bestg), ...
    ' CVAccuracy=',num2str(bestacc),'%'];
title({firstline;secondline},'Fontsize',12);
grid on; 

figure;
meshc(X,Y,cg);
% mesh(X,Y,cg);
% surf(X,Y,cg);
axis([cmin,cmax,gmin,gmax,30,100]);
xlabel('log2c','FontSize',12);
ylabel('log2g','FontSize',12);
zlabel('Accuracy(%)','FontSize',12);
firstline = 'SVC参数选择结果图(3D视图)[GridSearchMethod]'; 
secondline = ['Best c=',num2str(bestc),' g=',num2str(bestg), ...
    ' CVAccuracy=',num2str(bestacc),'%'];
title({firstline;secondline},'Fontsize',12);