LibSVM 安装使用

知道这个库已经很长的时间了，一直没有实践，以前也看过svm的理论，今天开始安装一下一直感觉有错误，结果自己傻了，根本没有错，可以直接使用。。。

libsvm参考资料：

libsvm下载网址：http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 
我的系统环境为 Win7 64bit + Matlab R2014a ，下载的是最新版的libsvm-3.22

具体流程

• 下载： 
  从libsvm的主页下载合适的软件安装包，并解压，比如我解压到Matlab的Toolbox目录下，具体路径如下：....MatlabR2014b oolbox
• 设置Path： 
  在Matlab中依次选择设置路径-添加并包含子文件夹..，加入以上解压后存放的路径。
• 编译： 
  事实上，对于64位的系统，我们是不需要进行编译的，自带的软件包中已经包含了对应于64位系统的编译好的文件：libsvmread.mexw64、libsvmwrite.mexw64、svmtrain.mexw64、svmpredict.mexw64，以上文件位于压缩包'..windows'文件夹中。对于非64位系统，或者需要自己编译的特殊情况，采用如下de步骤编译自己的二进制文件。 
  
  • 在matlab中切换到解压后的libsvm-3.22matlab目录（如我的系统为：...MatlabR2014b oolboxlibsvm-3.20matlab）
  • 在命令窗口输入mex -setup ，此时会提示你选择编译器，就选择一个已安装的编译器，如Microsoft Visual C++ 2013。之后Matlab会提示确认选择的编译器，输入y进行确认。
  • 在命令窗口输入make，等待make完成，生成相应的后缀为mexw64（64位系统）或mexw32（32位系统）的文件。
  • 这里要说明，其实前一步的mex -setup并不是必须的，在make指令不奏效的时候调用一下即可；另外，在我的配置过程中，会提示有问题，大致如下所示， 其实并不需要在意，直接调用make 也会成功编译文件。

MEX 配置为使用 ‘Microsoft Visual C++ 2013 Professional (C)’ 以进行 C 语言编译。 
警告…您需要更新代码以利用新的 API。您可以在以下网址找到相关详细信息…

先一直没有看到类似的：

mex -setup
显示

Please choose your compiler for building external interface (MEX) files: 

 

Would you like mex to locate installed compilers [y]/n?

输入y

Select a compiler: 

[1] Lcc-win32 C 2.4.1 in D:MATLABR2010asyslcc 

[2] Microsoft Visual C++ 2008 SP1 in D:Program FilesMicrosoft Visual Studio 9.0 

[3] Microsoft Visual C++ 6.0 in D:Program FilesMicrosoft Visual Studio 

 

以为没有安装上，没有编译通过，结果是可以用的。load数据也有问题，路径不对：

有两个数据集，一个是C++的， 一个是matlab的。libsvm库中下载的是C++数据，

所以matlab加载我们下载的heart_scale是会报错的：<这就是视频中遗漏的小问题>

• 重命名： 
  这并不是必须的操作，但鉴于个人的经验，建议执行。 
  编译完成后，在当前目录下回出现svmtrain.mexw64、svmpredict.mexw64（64位系统）或者svmtrain.mexw32、svmpredict.mexw32（32位系统）这两个文件，把文件名svmtrain和svmpredict相应改成libsvmtrain和libsvmpredict。 
  这是因为Matlab中自带有SVM的工具箱，而且其函数名字就是svmtrain和svmpredict，和libsvm默认的名字一样，在实际使用的时候有时会产生一定的问题，比如想调用libsvm的变成了调用Matlab SVM。 
  如果有进行重命名的，以后使用libsvm时一律使用libsvmtrain和libsvmpredict这两个名字进行调用。

特别补充：

以上是普通的libsvm在matlab 2014b 的设置，起初对于我而言，也是并不需要编译的，直接设置路径就可以使用libsvm，但是由于我需要使用对样本加权的训练方法，于是经过搜索，发现他们也是提供libsvm-weights-3.20版本的，参见这里,其中提供了Matlab和Python的接口，而并不存在已经编译好的文件，所以我需要进行编译并使用这一带权重的版本。

测试

以下测试是基于我配置的加权的libsvm的版本。 
libsvm软件包下的heart_scale和heart_scale.wgt文件分别提供了样本的label及feature信息和权重信息。要注意对于以上两个文件，其读取指令是不同的，以下将简单演示：在matlab命令窗口执行如下命令：

[heart_scale_label, heart_scale_inst] = libsvmread('heart_scale'); %读取方法
heart_scale_weight = load('heart_scale.wgt');
model = libsvmtrain(heart_scale_weight, heart_scale_label, heart_scale_inst, '-c 1'); %改名字了吧  +lib
[predict_label, accuracy, dec_values] = libsvmpredict(heart_scale_label, heart_scale_inst, model);

结果如下：

*
optimization finished, #iter = 166
obj = -107.553365, rho = 0.449867
nSV = 131, nBSV = 103
Total nSV = 131
Accuracy = 86.2963% (233/270) (classification)

特别的，对于不需要对样本考虑权重的情况，只需要修改训练的指令为：

model = libsvmtrain([], heart_scale_label, heart_scale_inst, '-c 1');

ok，以上就是对于Matlab 2014a使用libsvm(libsvm-weights)的简要记录。

svmtrain函数相关参数说明

svmtrain函数返回的model可以用来对测试数据集进行预测。这是一个结构体变量，主要包括了以下几个域。[Parameters, nr_class, totalSV, rho, Label, ProbA, ProbB, nSV,sv_coef, SVs]。英文说明如下：

       -Parameters: parameters

       -nr_class: number of classes; = 2 for regression/one-class svm

       -totalSV: total #SV

       -rho: -b of the decision function(s) wx+b

       -Label: label of each class; empty for regression/one-class SVM

       -ProbA: pairwise probability information; empty if -b 0 or in one-classSVM

       -ProbB: pairwise probability information; empty if -b 0 or in one-classSVM

       -nSV: number of SVs for each class; empty for regression/one-class SVM

       -sv_coef: coefficients for SVs in decision functions

       -SVs: support vectors

如果没有指定’-b 1’选项则ProbA和ProbB为空矩阵。此外，当指定’-v’选项时，返回的model是一个数值，是cross-validation的准确率。

其中model.paramter是一个5X1的向量，参数意义为：

model.Parameters参数意义从上到下依次为：

-s svm类型：SVM设置类型(默认0)

-t 核函数类型：核函数设置类型(默认2)

-d degree：核函数中的degree设置(针对多项式核函数)(默认3)

-g r(gama)：核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数) (默认类别数目的倒数)

-r coef0：核函数中的coef0设置(针对多项式/sigmoid核函数)((默认0)

svmpredict函数参数说明

svmpredict函数返回三个值，predict_label，是训练集预测得到的label向量。第二个输出是accuracy，是一个3维的向量，从上到下分别是：分类准率（分类问题中用到的参数指标）；平均平方误差（MSE (mean squared error)）（回归问题中用到的参数指标）；平方相关系数（r2 (squared correlation coefficient)）（回归问题中用到的参数指标）。第三个输出是个矩阵，包含着决策值或者是概率估计（当’-b 1’被指定时）。当训练数据有k类时，决策值矩阵是一个n行k*(k-1)/2列的矩阵（n为测试数据集个数，k为类别数），而每一行的输出是k*(k-1)/2个二分类器的结果。当’-b 1’被指定时，概率估计矩阵是一个n行k类的矩阵（n为测试数据集个数，k为类别数），每一行的输出是该测试数据属于每个类的概率。

先试着学习，孰能生巧。。。

特别感谢：Matlab配置libsvm

              SVM学习笔记（1）LIBSVM在matlab下的使用安装

              LibSVM 在matlab中的使用

              LibSVM 在matlab中的配置（包括SVDD、libsvm-faruto）