一个错误的观点：SVM会得到相同的结果即使训练集中只包含支撑向量【转】

转自 http://hi.baidu.com/liuzhiliangliang/blog/item/bfbb5b277cf05c1c918f9d8c.html#0

博主提出的观点如题目，感觉这是SVM的基本问题，却在论文中被忽视，只能说悲剧。

不说了，原文奉上：

在有些关于SVM的论文中，一些作者认为SVM只依赖于支撑向量集，所以：即使训练样本中只包含支撑向量集，也可以得到与之前一样的SVM模型。这种观点是错误的，因为支撑向量集的产生，是所有样本共同作用的结果，如果缺少任何一个样本都有可能产生不同的SVM模型。所谓支撑向量，只是说是用该训练集得到的SVM模型在进行决策时只依赖于此支撑向量集，其它的非支撑向量不参与决策。

注意：非支撑向量不参与决策，但是参与了模型训练，因此他们也是必不可少的，切不可卸磨杀驴。

下面用实例来佐证以上的观点。

load fisheriris

xdata = meas(51:end,3:4);

group = species(51:end);

svmStruct = svmtrain(xdata,group,'showplot',true);

 

如果只用以上模型中的支撑向量，再重新训练SVM，将得到一个不一样的SVM模型。

xdata_sv = xdata(svmStruct.SupportVectorIndices,:);

group_sv = group(svmStruct.SupportVectorIndices);

hold on;

svmStruct1 = svmtrain(xdata_sv,group_sv,'showplot',true);

 

通过上图可见：决策面发生了变化（示意为蓝色粗线），而且支撑向量发生了改变，即有些在之前SVM模型中充当支撑向量的点，在新的SVM模型中不再担当此重任。---来自亮丽的风景线