1.流程
为什么要用SVM而不是CNN最后一层的softmax？
取什么模型必然是有标准衡量，这个流程取得是书上[4]写的，作者说他得实验证明SVM比FC的mAP要高，所以我流程暂且这样画了。
R-CNN取的是alexNet的迁移学习进行微调，它原来的训练数据就是随机的，而为了避免正样本数据过小导致卷积网络过拟合，正样本的框中没有SVM训练时严格，
也即说，训练中，相同的数据，在SVM里正样本卡得更严格，让SVM判别是正样本的概率也会低一些，那SVM的mAP高一些也能理解。
那么又有一个新问题，既然alexNet后接softmax结果不理想，那用fc+softmax替代svm呢？这个讨论在下节。
（刚好有一个图说明这个mAP怎么算，它更关注在确实有目标的建议框里面，模型给出的“信心”是多少）
引自：https://blog.csdn.net/asasasaababab/article/details/79994920
2.数学概念
SVM（Support Vector Machines），主要想找到分离一批数据的超平面，约定是，找到距离这个超平面最近的点做距离该点最远的线（/面）。
支持向量（support vecotr）就是离超平面最近的点，SVM由此命名。
而规划超平面涉及到核（Kernal）函数概念，最终计算SVM会是解决不等式约束问题，这里面就有多种方式。
（原始的SVM仅用于二分类，分类标签按计算需求确定，可能是0和1，或者是-1和1，以此区分两个类别。多种分类需要动刀函数距离）
对于一个二维平面来说，如果能用一条直线区分出两批数据，那么如何确定这条直线呢（可能会有多条），
SVM原则是找到两批数据中点距离目标线最近的点，距离最大的解。这听起来有很多个未知数
已知点A，假设超平面表达式（目标函数）为 ，那么点A对y的距离（推导过程让人脑闭，有需要再深究）：
这个yi是取-1和1的标签值，注，yi的i不同书写在了不同位置（上标或下标），但都是表示标签。
为了下文计算方便，把分子拎出来，为了掉绝对值，此处添加变量yi（表示标签值，i = 1,2,3,..n，表示第几个数据）[2]，
yi取-1或1，以使分子结果不变，
设定下式为函数距离（或称为函数间隔），可以表示点到超平面的距离远近。
目标是找到函数距离最小值，
下一步是求距离超平面最近的点对超平面的距离最大化之解：
优化问题，分成两个整体来处理，
已知要求的函数间隔最小，那么有：
整理一下，
又 不影响margin取值，此处可令其为1，（？[2]笔者并不太明白），
求||w||最小值等价于||w||²/2的最小值，为了求导方便，上式可转化为：
为了求解线性可分支持向量机的最优化问题，将它作为原始最优化问题，
应用拉格朗日对偶性，通过求解对偶问题(dual problem)得到原始问题(primal problem)的最优解，这就是线性可分支持向量机的对偶算法，
这样做的优点：一是对偶问题往往更容易求解；二是自然引入核函数，进而推广到非线性分类问题。
——《统计学习方法》
关于如何求解拉格朗日此处不叙述，详见[2][3]，
拉格朗日乘数法式子：
省略化简，得到约束：
注，尖括号表示向量内积（也即点积）。
由于此时假设数据100%线性可分，然而真实数据并不都是那么“干净”，此处引入松弛变量（slack variable），以允许有些数据点处于分隔面错误的一侧，约束条件变为：C≥α ≥ 0 ，
如何求解，传统地有二次规划求解（quadratic solver），但是这个计算量大，John Platt发布了一个叫SMO（Sequential Minimal Optimization，序列最小优化）的算法以减少计算。
简化的SMO伪代码：
创建一个α向量并将其初始化为0的向量
当迭代次数小于最小迭代次数时（外循环）：
对数据集中的每个数据向量（内循环）：
如果该数据向量可以被优化：
随机选择另外一个数据向量
同时优化这两个向量
如何这两个向量不能被同时优化，退出内循环
如果所有向量都没被优化，增加迭代数目，继续下一次循环
核（kernel）函数
如果一批数据并没有呈现明显的直线划分规律，例如呈现环分布的划分规律，
那么求解这个低纬度的非线性问题，最好就把它转化成高纬度的线性问题，前者转化到后者，这个映射过程用核函数满足。
因为SVM的向量都是内积表示，这里面把内积运算替换成核函数的方式，就叫做核技巧（kernel trick）或核变电（kernel substation）。
径向基核函数（Radial Basis Function），是某种沿径向对称的标量函数，是一个常用的度量两个向量距离的核函数。
例如，线性问题，是 
，非线性问题，假设核函数取径向基函数的高斯版本：
（？）其中，σ是用户定义的用于确定到达率（reach）或者说函数值跌落到0的速度参数。
def kernelTrans(X, A, kTup):
m,n = shape(X)
K = mat(zeros((m, 1)))
if kTup[0] == 'lin' : K = X*A.T
elif kTup[0] == 'rbf' :
for j in range(m):
deltaRow = X[j, :] – A # 公式
K[j] = deltaRow*deltaRow.T # 平方
K = exp(K / (-1*kTup[1]**2)) # 元素间的除法
else : raise NameError('That Kernel is not recognizaed~ ')
return K
class optStruct:
def __init__(self, dataMatIn, classLabels, C, toler, kTup):
self.X = dataMatIn
…
self.m = shape(dataMatIn)[0]
self.K = mat(zeros((self.m, self.m)))
for i in range(self.m):
self.K[:,i] = kernalTrans(self.X, self.X[i, :], kTup)SVM用于数值型数据，可视化分割超平面，其主要求解在于两个变量的调优，几乎所有分类问题都能用它，
原始的SVM是一个二分类器，应对多类问题需要调整SVM，
但其核函数的选择，以及核函数里自定义变量的影响，使得这个最优解需要大量训练。
=======================================================
资料：
[1] https://baike.baidu.com/item/拉格朗日乘数法/8550443?fromtitle=拉格朗日乘子法
[2] https://zhuanlan.zhihu.com/p/146515617
[3] https://blog.csdn.net/m0_37687753/article/details/80964472?spm=1001.2014.3001.5501
[4]杜鹏、谌(chen2)明、苏统华 编著《深度学习与目标检测》
Peter Harrington著《机器学习实战》
https://blog.csdn.net/m0_37687753/article/details/80964487
https://blog.csdn.net/laobai1015/article/details/82763033
https://baike.baidu.com/item/函数间隔/23224467?fr=aladdin
按这个计算原理来说，如果有一份数据，代入到SVM的分隔面里，为0是在面上，如果值>0，是正分类，<0是负分类；
此处可以观察到，如果值越大，即距离分隔面越远，那分类正确性也会越大。
如何改造SVM处理多种分类呢？
改造SVM为多分类识别：
1 直接法：在目标函数上修改，将多个分类面的参数求解合并成一个最优化问题，这种计算复杂，仅适合小型问题。
2 间接法：把多分类转变成多个二分类问题，常见有one-against-one和one-against-all两种。
|
一对多（one-versus-rest，简称OVR SVMs） K个分类就有k个SVM，例如ABC..N共n个分类，那么 SVM1：设A为正集，BC..N为负集； SVM2：设B为正集，AC..N为负集； …… SVMn：设N为正集，AB..(N-1)为负集； |
|
一对一（one-versus-one） K个分类就有k(k-1)/2个SVM，排列组合任意两个分类做SMV，再总体计算单个分类得分。 |
|
层次SVM，把分类做成二叉树结构。 |
资料：
http://blog.itpub.net/29829936/viewspace-2168864/
3.应用代码
笔者还没有实现过，暂且搁置。