SVM

SVM

一、SVM：找最优分界线

1.1 线性理想SVM  == max margin classiler（margin：d1+d2 = 2/w越大越好）

1.2 数学模型

||w||是w的转置和w相乘，他们的求和实质是不一样的，求和的下标i，j不同

 

1.3 对偶及其KKT条件

<x^(i),x>点击是全数据集，那计算量是不是很大呢？但是KKT条件，也就是在支持向量上的a才不等于，其余a等于0

 

二、SVM软间隔异常值处理

2.1 处理1：放松限制（处理线性不可分）

KKT条件：

2.1.1 另一种理解方式：Hinge Loss（合页损失）

 

2.2 处理2：不放松限制（bad）

三、带kernel trick的SVM（线性不可分）

3.1 为什么使用核函数：便于处理线性不可分

3.2 使用核函数代替点积，将特征映射到更高的维度（常用）

满足kernel的条件：对称矩阵、半正定矩阵

常见的kernel：https://blog.csdn.net/qq_27231343/article/details/51817866

3.3 SVM使用核函数

SVM之所以可以使用kernel trick,是因为a_i.a_j使用了核函数以后不变  

 

存在问题：增加了计算量，计算量和数据量与每一条数据的维度成正相关；没办法增加到无限维

四、SMO：求解SVM：二次规划（quadratic programming），在多项式时间内求得最优解

4.1 坐标轮换法（coordinate descent）：只允许一个变量变化，其余变量保持不变

 

必须选用2个参数，否则回破坏KKT条件

 

http://cs229.stanford.edu/materials/smo.pdf

4.2扩展SVM到支持多分类

1.1.1. OVR（one versus rest）

1.1.2. OVO（one versus one）